(57)【要約】【課題】画像処理の分野、特に、局所画像相似性の測定に関する技術を提供する。【解決手段】Ｌ1距離測度に基づく適応的局所画像相似性測定の方法を説明する。距離測度の間の関係は、様々なパッチサイズに対する適切な閾値を推定するのに用いられる。パッチサイズの選択は、画像及びアプリケーションに含まれる劣化に依存する。相似性測度の間の関係は、様々なパッチサイズにおけるＬ1距離の分布を用いて確立される。重度の劣化では、より大きいパッチサイズによる相似性測定が用いられる。軽度の欠陥に対しては、より小さいパッチサイズが満足できる結果を生じる。計算負荷を管理可能に保つために、望ましい画像品質を与える最小パッチサイズが用いられる。【選択図】図６
2011070681.tif 000002
【特許請求の範囲】
【請求項１】
画像内の局所相似性を測定するデバイス上で実施される方法であって、
ａ．撮像条件を取得する段階、
ｂ．適切なパッチサイズを判断する段階、
ｃ．閾値を選択する段階、及び
ｄ．局所画像相似性を測定する段階、
を含むことを特徴とする方法。
【請求項２】
前記撮像条件は、照明、照度、露出時間、絞り、シーンカテゴリ、及びカメラ利得から成る群から選択されることを特徴とする請求項１に記載の方法。
【請求項３】
前記適切なパッチサイズは、前記撮像条件に基づいて判断されることを特徴とする請求項１に記載の方法。
【請求項４】
前記閾値は、ルックアップテーブルに記憶された１組の閾値からのものであることを特徴とする請求項１に記載の方法。
【請求項５】
前記閾値を選択する段階は、望ましい相似率、撮像条件、パッチサイズ実施間の移行の切れ目のなさのうちの少なくとも１つに基づくことを特徴とする請求項１に記載の方法。
【請求項６】
パッチサイズ間で適応的に切り換える段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記切り換える段階は、自動であることを特徴とする請求項６に記載の方法。
【請求項８】
前記パッチサイズは、１×１、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチサイズから成る群から選択されることを特徴とする請求項１に記載の方法。
【請求項９】
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択されることを特徴とする請求項１に記載の方法。
【請求項１０】
画像内の局所相似性を測定するためのデバイス上で実装されるシステムであって、
ａ．１×１のパッチサイズを利用するように構成された第１のモジュール、
ｂ．このモジュールに作動的に結合され、より大きいパッチサイズを利用するように構成された第２のモジュール、及び
ｃ．前記第１のモジュール及び前記第２のモジュールに作動的に結合され、様々なパッチサイズの局所相似性を測定するために該第１のモジュールと該第２のモジュールの間で切り換えるように構成されたスイッチングモジュール、
を含むことを特徴とするシステム。
【請求項１１】
前記切り換える段階は、パッチサイズに関係なく同じ相似率を維持することを含む請求項１０に記載のシステム。
【請求項１２】
前記切り換える段階は、自動であることを特徴とする請求項１０に記載のシステム。
【請求項１３】
前記より大きいパッチサイズは、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチから成る群から選択されることを特徴とする請求項１０に記載のシステム。
【請求項１４】
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択されることを特徴とする請求項１０に記載のシステム。
【請求項１５】
ａ．アプリケーション及び／又は撮像条件に対して適切なパッチサイズを判断し、画像劣化が閾値よりも小さい場合はより小さいパッチサイズを利用し、かつ劣化レベルが上昇する時に該パッチサイズを漸次的に拡大するように構成されたアプリケーションを記憶するためのメモリ、及び
ｂ．前記メモリに結合され、前記アプリケーションを処理するように構成された処理構成要素、
を含むことを特徴とするデバイス。
【請求項１６】
前記パッチサイズを適応的に切り換えることを更に含む請求項１５に記載のデバイス。
【請求項１７】
前記パッチサイズを適応的に切り換えることは、該パッチサイズに関係なく同じ相似率を維持することを含む請求項１６に記載のデバイス。
【請求項１８】
前記切り換えは、自動であることを特徴とする請求項１７に記載のデバイス。
【請求項１９】
前記パッチは、１×１、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチから成る群から選択されることを特徴とする請求項１５に記載のデバイス。
【請求項２０】
パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択されることを特徴とする請求項１５に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関する。より具体的には、本発明は、局所画像相似性の測定に関する。
【背景技術】
【０００２】
画像処理では、局所画像相似性の推定は重要な問題である。概念的には、画像相似性は、本明細書に引用によって組み込まれている「学習作業特異の相似性、博士論文」（Learning Task-Specific Similarity, PhD Thesis,）、電気工学及びコンピュータ科学学部、マサチューセッツ工科大学、２００５年にＧｒｅｇ  Ｓｈａｋｈｎａｒｏｖｉｃｈによって説明されているように３つの部類に分類することができ、これらの部類は、以下のものを含む：１）低レベル相似性。あらゆる距離測度（例えば、ｐ−ノルム、ＥａｒｔｈＮｏｖｅｒｓ、Ｍａｈａｌａｎｏｂｉｓ）が何らかの閾値内にある場合はパッチは類似すると考えられる。２）中間レベル相似性。この場合、パッチは、何らかの単純な意味特性を共有する。３）高レベル相似性。この場合、相似性は、主に意味によって定められる。２つのパッチを類似のものにする特性は可視ではないが、これらの特性は、動作のような可視情報から推測することができる。
【０００３】
殆どの単一センサカラー画像化システムでは、ピクセル毎に１つの色のみが測定される。各位置における色情報を完璧にするには、残りの成分を推定する必要がある。この工程は、モザイク除去として公知である。カラーフィルタアレイ（ＣＦＡ）のいくつかの構成を用いることができる。最も一般的なＣＦＡは、本明細書に引用によって組み込まれている「カラー画像化アレイ」という名称の米国特許第３．９７１、０６５号、１９７６年７月２０日にＢ．Ｅ．Ｂａｙｅｒによって説明されているＢａｙｅｒパターンであり、このパターンは、３つの色（２５％赤色ピクセル、５０％緑色ピクセル、及び２５％青色ピクセル）から成る。最近では、良好な色精度及び／又は高い画像忠実性を得るために、他のＣＦＡが提案されている。例えば、本明細書に引用によって組み込まれている「画像抽出感度に適応する画像抽出デバイス及び画像抽出法」という名称の米国特許第７、４８９、３４６号、２００９年２月１０にＴ．Ｍｉｚｕｋｕｒａ他によって説明されているように、４色のＣＦＡは、色再現精度を改善し、本明細書に引用によって組み込まれているＹｏｓｈｉｈａｒａ他著「切れ目のないモード変更を有する１／１．８インチ６．４Ｍピクセル６０フレーム／秒ＣＭＯＳ画像センサ」、ＩＥＥＥ雑誌「半導体回路」、第４１巻、第１２号、２００６年１２月、２９９８ページ〜３００６ページに説明されているように、Ｂａｙｅｒ色を矩形アレイではなくジグザグ配列で配置することによってフィルファクタ及びピクセル感度が改善され、本明細書に引用によって組み込まれている「較正及び色フィルタアレイ設計のための最適な色の識別」という名称の米国特許出願第２００７０２３０７７４号、２００７年１０月４日にＦ．Ｂａｑａｉによって説明されている機械学習手法は、統計的に最適なＣＦＡ色を推定する。モザイク除去アルゴリズムは、色チャンネル内の高周波情報が高度に相関されるという考察に基づいている。一般的に、ＣＦＡ内の緑色ピクセルは、他の色よりもかなり数が多いので、モザイク除去アルゴリズムは、高周波情報を緑色チャンネルから所定のピクセル位置において不明な他の色チャンネルへと複写する。この複写を有効に行うために、モザイク除去アルゴリズムは、類似する局所幾何学形状を共有するピクセル又は領域の集合を識別することによって局所画像構造を推測する必要がある。
【０００４】
モザイク除去と同様に、ノイズ除去にも推定についての問題がある。目的は、劣化した観察値からノイズのないピクセル値を推定することである。良好な推定値を得るには、類似する局所構造を共有するピクセル集合を劣化した画像内で得る必要がある。一般的に、ノイズ除去された値は、類似するピクセルの集合内のピクセルの重み付き平均値である。重みは、近接性レベル、相似性レベル、ノイズレベル、又はこれらの組合せのような多くの手法で判断することができる。例えば、全体が本明細書に引用によって組み込まれている２００８年９月１８日出願のＦ．Ｂａｑａｉの「信号依存の適応的重みを用いたノイズ除去のためのシステム及び方法」という名称の米国特許出願出願番号第１２／２８４、０５５号を参照されたい。
【０００５】
モザイク除去とノイズ除去の両方において、推定されるピクセル値は、類似するピクセルの集合の重み付き組合せであることは興味深い。重みは、異なる目的に機能する。ノイズ除去では、重みは、望ましくない振動を平滑化するように選択され、それに対してモザイク除去では、重みは、不明なピクセルの推定において高周波情報が維持されるように選択される。両方が本明細書に引用によって組み込まれている「自己相似性駆動の色モザイク除去」、「ＩＥＥＥ  ＴＩＰ」、第１８巻、第６号、２００９年６月、１１９２ページ〜１２０２ページにＡ．Ｂｕａｄｅｓ他により、更に「モザイク除去及びノイズ除去の結合」、「ＩＥＥＥ  ＴＩＰ」、第１５巻、第８号、２００６年８月、２１４６ページ〜２１５７ページにＫ．Ｈｉｒａｋａｗａ及びＴ．Ｐａｒｋｓによって説明されているように、一部の方法は、最初に基本構造を推定し、次に、その結果を反復的に微調整することによってモザイク除去とノイズ除去を結合することを目的とする。全てのこれらの関連において共通する課題は、ぼけ、歪み、及びノイズのような劣化が存在する中で類似する画像構造を得ることである。
【０００６】
文献では、低レベル画像相似性が数多く取り上げられている。例えば、本明細書に引用によって組み込まれている「濃淡画像及びカラー画像に対するバイラテラルフィルタリング」、コンピュータビジョンに関する国際会議ＩＥＥＥ会報、１９９８年、８４１ページ〜８４６ページにＣ．Ｔｏｍａｓｉ及びＲ．Ｍａｎｄｕｃｈｉによって説明されているように、ピクセル間のユークリッド距離（Ｌ2ノルム）に基づく相似性が非常に一般的である。この測度は、照明条件及びノイズに対して非常に敏感である。この測度は、局所画像構造を比較しない。この測度をよりロバストにし、局所幾何学形状を推定するのに扱い易くするために、上記に引用した「自己相似性駆動の色モザイク除去」においてパッチベースのユークリッド距離が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第３．９７１、０６５号
【特許文献２】米国特許第７、４８９、３４６号
【特許文献３】米国特許出願第２００７０２３０７７４号
【特許文献４】米国特許出願出願番号第１２／２８４、０５５号
【特許文献５】米国特許出願出願番号第２００８／０２４０２０３号
【非特許文献】
【０００８】
【非特許文献１】Ｇｒｅｇ  Ｓｈａｋｈｎａｒｏｖｉｃｈ著「学習作業特異の相似性、博士論文」、電気工学及びコンピュータ科学学部、マサチューセッツ工科大学、２００５年
【非特許文献２】Ｙｏｓｈｉｈａｒａ他著「切れ目のないモード変更を有する１／１．８インチ６．４Ｍピクセル６０フレーム／秒ＣＭＯＳ画像センサ」、ＩＥＥＥ雑誌「半導体回路」、第４１巻、第１２号、２００６年１２月、２９９８ページ〜３００６ページ
【非特許文献３】Ａ．Ｂｕａｄｅｓ他著「自己相似性駆動の色モザイク除去」、「ＩＥＥＥ  ＴＩＰ」、第１８巻、第６号、２００９年６月、１１９２ページ〜１２０２ページ
【非特許文献４】Ｋ．Ｈｉｒａｋａｗａ及びＴ．Ｐａｒｋｓ著「モザイク除去及びノイズ除去の結合」、「ＩＥＥＥ  ＴＩＰ」、第１５巻、第８号、２００６年８月、２１４６ページ〜２１５７ページ
【非特許文献５】Ｃ．Ｔｏｍａｓｉ及びＲ．Ｍａｎｄｕｃｈｉ著「濃淡画像及びカラー画像に対するバイラテラルフィルタリング」、コンピュータビジョンに関する国際会議ＩＥＥＥ会報、１９９８年、８４１ページ〜８４６ページ
【非特許文献６】Ｐ．Ｈｏｗａｒｔｈ及びＳ．Ｒｕｇｅｒ著「内容ベースの画像取得のためのフラクショナル距離測度」、コンピュータ科学における講義録、ＩＳＳＮ０３０２−９７４３、第３４０８巻、２００５年、４４７ページ〜４５６ページ
【非特許文献７】Ｌｅｏｎｅ他著「折り畳み正規分布」、Ｔｅｃｈｎｏｍｅｔｒｉｃｓ、３（４）、１９６１年１１月、５４３ページ〜５５０ページ
【発明の概要】
【発明が解決しようとする課題】
【０００９】
相似性測度の重要な部分は、ピクセル又は画像のパッチが類似すると見なされる閾値である。閾値は、アプリケーションに依存する。閾値は、画像内の劣化度の推定値、相似性基準、及び距離測度（Ｌ1、Ｌ2、及びその他）に基づいて調節する必要がある。閾値が間違って選択された場合には、相似性測度は、類似しないか又は統計的に有意な類似ピクセル数を生じないかのいずれかをもたらすピクセルを含むことになる。それによっていくつかの難題が課せられる。例えば、局所幾何学形状の推定値が不正確であった場合には、モザイク除去された画像内にジッパー効果、ぼけ、及び偽色のようないくつかのアーチファクトが出現する可能性がある。同様に、ノイズ除去も、ノイズを十分に除去しない（平滑化不足）、又はエッジ及びテクスチャをぼかす（過平滑化）可能性がある。
【００１０】
特筆される別の重要点は、計算の複雑度が、パッチ内のピクセル数に正比例することである。例えば、３×３のパッチに対して類似ピクセルを計算する計算負荷は、１×１のパッチの計算複雑度の９倍であり、５×５のパッチでは、２５倍である。パッチサイズが拡大する時に計算負荷は明らかに急上昇する。従って、望ましい構造相似性を得る最小パッチサイズを用いることが望ましい。
【課題を解決するための手段】
【００１１】
様々なパッチサイズのパッチベースの相似性測度の間の関係を用いて低レベルの局所画像相似性を測定する方法を説明する。様々なパッチサイズの相似性測度の間の関係は、任意のパッチサイズにおけるＬ1距離の確率分布を用いて確立される。パッチサイズは、アプリケーション、及び／又は照明、照度、絞り、焦点、露出、及びカメラ利得のような撮像条件に依存する。例えば、画像が非常に劣化している場合には、局所画像相似性を有効に測定するためにはより大きなパッチサイズを必要とする場合がある。劣化が非常に小さい一部の状況では、１×１のパッチサイズ（ちょうど１つのピクセル）で十分である場合がある。同様に、セグメンテーション及びオブジェクト検出においては、より大きいパッチが正当化されるであろう。
【００１２】
一態様では、画像内の局所相似性を測定するデバイス上で実施される方法は、撮像条件を取得する段階と、適切なパッチサイズを判断する段階と、閾値を選択する段階と、局所画像相似性を測定する段階とを含む。撮像条件は、照明、照度、露出時間、絞り、シーンカテゴリ、及びカメラ利得から成る群から選択される。適切なパッチサイズは、撮像条件に基づいて判断される。閾値は、ルックアップテーブルに記憶された１組の閾値からのものである。閾値を選択する段階は、望ましい相似率、撮像条件、パッチサイズ実施間の移行の切れ目のなさのうちの少なくとも１つに基づいている。本方法は、パッチサイズ間で適応的に切り換える段階を更に含む。切り換える段階は自動である。パッチサイズは、１×１、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチサイズから成る群から選択される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択される。
【００１３】
別の態様では、画像内の局所相似性を測定するためのデバイス上で実施されるシステムは、１×１のパッチサイズを利用するように構成された第１のモジュールと、このモジュールに作動的に結合され、より大きいパッチサイズを利用するように構成された第２のモジュールと、第１のモジュール及び第２のモジュールに作動的に結合され、様々なパッチサイズの局所相似性を測定するために第１のモジュールと第２のモジュールの間で切り換えるように構成されたスイッチングモジュールとを含む。切り換える段階は、パッチサイズに関係なく同じ相似率を維持する段階を含む。切り換える段階は自動である。より大きいパッチサイズは、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチから成る群から選択される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択される。
【００１４】
別の態様では、デバイスは、アプリケーション及び／又は撮像条件に対して適切なパッチサイズを判断し、画像劣化が閾値よりも小さい場合はより小さいパッチサイズを利用し、かつ劣化レベルが上昇する時にパッチサイズを漸次的に拡大するように構成されたアプリケーションを記憶するためのメモリと、メモリに結合され、アプリケーションを処理するように構成された処理構成要素とを含む。デバイスは、パッチサイズを切り換える段階を更に含む。パッチサイズを切り換える段階は、パッチサイズに関係なく同じ相似率を維持する段階を含む。切り換える段階は自動である。パッチは、１×１、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチから成る群から選択される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択される。
【図面の簡単な説明】
【００１５】
【図１】１×１のパッチに対する確率密度の図である。
【図２】３×３のパッチに対する確率密度の図である。
【図３】５×５のパッチに対する確率密度の図である。
【図４】１×１のパッチに対する相似率０．５に対する閾値の図である。
【図５】３×３のパッチに対する相似率０．５に対する閾値の図である。
【図６】局所画像相似性を測定する方法の流れ図である。
【図７】１×１及び３×３のパッチに対する相似性測度の図である。
【図８】局所画像相似性測定法を実施するように構成された例示的なコンピュータデバイスのブロック図である。
【発明を実施するための形態】
【００１６】
本明細書に用いる相似性測度は、一般的なＬ2距離とは対照的にＬ1距離に基づいている。この選択にはいくつかの理由がある。自然画像は、重いテール部を有する分布を有し、画像を損なうノイズ特性は非ガウスのものである可能性がある。本明細書に引用によって組み込まれている「内容ベースの画像取得のためのフラクショナル距離測度」、コンピュータ科学における講義録、ＩＳＳＮ０３０２−９７４３、第３４０８巻、２００５年、４４７ページ〜４５６ページにＰ．Ｈｏｗａｒｔｈ及びＳ．Ｒｕｇｅｒによって説明されているように、Ｌ1距離は、Ｌ2距離又は他のフラクショナル距離ほど外れた値による影響を受けないので、そのようなデータに適している。Ｌ1距離は、全ての成分に同じ重みを与える。第２に、Ｌ2距離（Ｌ2距離は、平方根を無視したものとしても、依然として差の二乗の和である）と比較すると絶対差分（Ｌ1距離）を計算することが計算的に非常に単純である。
【００１７】
図７は、パッチサイズ１×１及び３×３の相似性測度を示している。パッチサイズが１×１の時には、着目しているピクセルＰmが他のピクセルと比較される。例えば、｜Ｐn−Ｐm｜＜τ1と書くことができる絶対差分が閾値τ1よりも小さい場合には、ＰnはＰmに類似する。３×３のパッチでは、Ｐn及びＰmの周囲の３×３の領域内の９個のピクセルのＳＡＤが９×τ3よりも小さい場合に、Ｐnは、Ｐmに類似する（ここで、τ3は、３×３のパッチに対する閾値である）。同等に、平均絶対距離がτ3よりも小さい場合に、Ｐnは、Ｐmに類似する。同様に、５×５のパッチでは、平均絶対差分がτ5よりも小さい場合に、Ｐnは、Ｐmに類似する（ここで、τ5は、５×５のパッチに対する閾値である）。
【００１８】
多くの画像処理アプリケーションにおいて、局所画像相似性を測定する必要がある。これらのアプリケーションは、画像の復元、分類、セグメンテーション、及び検出を含むが、これらに限定されない。本発明を説明するための手段としてモザイク除去及びノイズ除去という２つの復元に関する課題に言及するが、他のアプリケーションも間違いなく可能である。モザイク除去及びノイズ除去では、欠損したか又は劣化したピクセル値を推定するのに、着目しているピクセルの隣接ピクセルにおいて類似するピクセルが用いられる。得られる画像品質は、着目しているピクセル又は画像領域に対する類似ピクセル集合内のピクセルの構造類似度の１次関数である。適切に選択された類似ピクセル集合は、僅かなアーチファクトしかないか又はいかなるアーチファクトも持たないかなり良好な外見を有する画像をもたらす。
【００１９】
輝度、照度、絞り、焦点、露出、及びカメラ利得のような画像条件に依存して、異なるパッチサイズが、類似局所幾何学形状を測定するのに必要である場合がある。劣化が小さい場合には、より小さいパッチサイズを用いることができる。しかし、弱光条件下で民生用セル電話カメラによって得られるもののように画像が非常に劣化している場合には、より小さいパッチサイズは、満足な結果を生じない。これらの状況では、より大きいパッチサイズを必要とする可能性がある。パッチサイズ（１×１、３×３、５×５、及びその他）は、劣化レベル、計算リソース、及びアプリケーションに依存する。課題は、類似の性能を維持しながら様々なパッチサイズ間の切れ目のない移行を保証することである。更に、その方法は、高速かつ正確でなければならない。
【００２０】
これらの課題は、本明細書に説明するＬ1距離測度に基づいて局所画像相似性を推定する方法及びシステムによって対処される。あらゆる劣化レベルにおいて、Ｌ1距離に基づいて任意サイズの相似性測度に対する閾値を自動的に推定する適応的方法を提供する。画像劣化が小さい時のより小さいパッチサイズ、及び画像劣化が大きくなる時のより大きいパッチサイズへの漸次的移行が用いられる。この漸次的移行は、パッチサイズ間を行き来しながら一定の相似率を保つことによって類似の性能を維持しながら行われる。この目的のために、Ｌ1距離に基づいて様々なパッチサイズの相似性測度の間の新しい関係が導出される。参考文献として全体が本明細書に引用によって組み込まれているＬｅｏｎｅ他著の論文「折り畳み正規分布」、Ｔｅｃｈｎｏｍｅｔｒｉｃｓ、３（４）、１９６１年１１月、５４３ページ〜５５０ページに説明されているように、１×１のパッチサイズでは、Ｌ1距離は、折り畳み正規分布（半正規分布としても公知）と呼ばれる比較的知名度の低い分布を有し、それに対してより大きいパッチサイズ（３×３及びそれ以上）では、Ｌ1距離は正規分布を有する。これらの２つの分布の特性を用いて、任意のパッチサイズに対するＬ1相似性測度の間の関係が導出される。この関係により、類似の性能を維持しながら様々なパッチサイズを出入りする切れ目のない移行が提供される。
【００２１】
画像内の劣化したピクセルを推定又は復元しようとする時には、ピクセルの周囲の領域が利用される。欠損したか又は劣化したピクセルに関する推定値を判断するのに、この領域内の類似ピクセルが用いられる。類似しないピクセルを用いると、画像を劣化させることになるジッパー効果、偽色、及び偽エッジ、並びに平滑化された外見のような望ましくないアーチファクトを導入することになる。類似ピクセルを判断するのに利用可能な測度（例えば、ユークリッド（Ｌ2）、Ｍａｈａｌａｎｏｂｉｓ、フラクショナル、及びその他）は、計算上高価である。第２に、様々なパッチサイズに対する閾値を自動的に判断するためのいかなる明確な機構も存在しない。類似するピクセル又は領域に対する距離を判断するために、Ｌ1距離としても公知である「絶対差分の和（ＳＡＤ）」が用いられる。
【００２２】
画像劣化が小さい場合には、１×１のパッチサイズは、良好に機能することができる。この場合、相似性は、絶対差分を判断し、次に、この絶対差分を閾値と比較することによって推定される。絶対差分が閾値よりも小さい場合は、ピクセルは類似し、絶対差分が閾値に等しいか又はそれを超える場合は、ピクセルは類似しない。この場合、類似ピクセルは、欠損したか又は劣化したピクセルの推定値を得るのに用いることができる。
【００２３】
画像欠陥が大きい場合には、着目しているピクセルの周囲の隣接ピクセルを含むピクセルが大きく劣化する。この場合、１×１のパッチは、それ程良好には機能しない。局所幾何学形状を有効に比較するには、１×１のパッチの代わりにより大きいパッチサイズが必要である。この関連において、個々のピクセルを比較する代わりに、ピクセルのパッチ（例えば、３×３のパッチ）が比較される。パッチ毎の比較を実施するために、ＳＡＤが用いられる。ＳＡＤを用いるのは、画像内に激しい劣化が存在する際に構造相似性を比較することにおいてロバストである。ＳＡＤが得られた後に、ＳＡＤは閾値と比較され、パッチが十分に類似するか否かが判断される。ＳＡＤが閾値よりも小さい場合は、ピクセルは類似し、ＳＡＤが閾値に等しいか又はそれを超える場合には、ピクセルは類似しない。パッチサイズによっては、異なる閾値が存在する可能性がある。上述の場合のように、類似ピクセルは、欠損したか又は劣化したピクセルの推定値を得るのに用いることができる。
【００２４】
上述のように、画像劣化が小さい場合には、あらゆるパッチサイズが良好に機能することになる。しかし、大きいパッチの高い複雑度に起因して、より小さいパッチサイズが好ましい。重度の劣化では、より大きいパッチサイズは、良好な比較、及び従って良好な画像品質をもたらす。パッチサイズ間で切り換える時に画像が類似して見えることを保証するために、閾値は正しく設定される。特に、パッチサイズ間で適応的に切り換えが行われる時に、画像の外見が類似したままに留まることが望ましい。一部の実施形態では、上述のことは、任意のパッチサイズにおいて類似ピクセル数が同じでなければならないことを意味する。ピクセル数が同じであることを保証する手法は、様々なパッチサイズの閾値の間の関係を判断することによるものである。
【００２５】
信号モデルが局所的に一定であると考えると、類似ピクセル集合内のピクセルは、同じ平均Υを有するが、標準偏差σを有する確率分布から導出された異なるノイズレベルを有するはずである。閾値の値は、類似度を制御し、上記に指摘したように、着目しているピクセルにおける劣化レベル及び相似性測度に依存する。劣化は、カメラ光学系によって導入されたぼけ、照度に起因する色かぶり、広いダイナミックレンジの画像に対する露出補償、信号及び回路からのノイズ、弱光を補償するために印加された利得、及びカメラパイプライン内に導入されたアーチファクト、及び他の劣化とすることができる。一般的に、ノイズは、ノイズモデルによって計算された非線形の信号依存の分布を有して正規分布するものと見なされる。ノイズ分布は、全てのピクセルにおいて一定ではなく、信号値に依存し、従って、全てのピクセルは、異なるノイズレベルを有する可能性がある。
【００２６】
類似ピクセルＸ、Ｙが、平均値（μ）及び標準偏差σを有する正規分布からのランダム変数であると仮定する：Ｘ、Ｙ〜Ｎ（μ、σ）。１×１のパッチに対する閾値は、ランダム変数Ｚ＝｜Ｘ−Ｙ｜に基づいている。より大きなパッチ（３×３及びそれ以上）に対する閾値は、ランダム変数Ｑ＝平均値（Ｚi）に基づいており、ここで、ｉ＝１、．．．ωであり、ωは、パッチ内のピクセル数である。１×１のパッチサイズに対する閾値とより大きいパッチサイズに対する閾値との間の関係を理解するために、Ｚ及びＱの分布を解析する。
【００２７】
Ｚに対する分布
差Ｘ−Ｙは、正規分布を有する：
【００２８】
【数１】
2011070681.tif 000003
【００２９】
Ｚ＝｜Ｘ−Ｙ｜は、次式の平均値を有する折り畳み正規分布Ｎfを有する：
【００３０】
【数２】
2011070681.tif 000004
【００３１】
Ｅ｛ｚ2｝＝２σ2；σz2＝Ｅ｛ｚ2｝−μz2＝２σ2（１−２／π）であるから、次式が得られる：
【００３２】
【数３】
2011070681.tif 000005
【００３３】
従って、
【００３４】
【数４】
2011070681.tif 000006
【００３５】
Ｑに対する分布
ランダム変数Ｑは、次式として書くことができる：
【００３６】
【数５】
2011070681.tif 000007
【００３７】
Ｚiが、独立かつ同一分布（Ｚi〜Ｎf（μz、σz））であると仮定するのは妥当である。統計学における中心極限定理は、独立かつ同一分布のランダム変数（Ｚ1、．．．、ＺT）の和が正規分布に近づくことを説明している：
【００３８】
【数６】
2011070681.tif 000008
【００３９】
従って、Ｑは、正規分布するものと考えることができる：
【００４０】
【数７】
2011070681.tif 000009
【００４１】
【数８】
2011070681.tif 000010
【００４２】
１×１のパッチサイズは、対称ではない折り畳み正規分布（半正規分布とも呼ばれる）を有する。パッチサイズ＞１×１（３×３及びそれ以上）では、距離は、いくつかの１×１の距離の和から得られ、例えば、３×３のパッチでは、合計で９個の絶対差分が存在し、５×５のパッチでは、合計で２５個の絶対差分が存在する。中心極限定理に基づくと、ランダム変数が独立かつ同一分布を有する場合には、和の分布はガウス分布である。１×１よりも大きいパッチサイズに対する距離は、等しい折り畳み正規分布を有する加算ランダム変数を含むので、その分布はガウス分布である。これを下記の表１に見ることができる。１×１のパッチサイズに対する距離は、非対称である折り畳み正規分布を有し、それに対してパッチサイズ３×３及びそれよりも大きいものに対する距離は、対称な正規分布を有する。
【００４３】
（表１）
2011070681.tif 000011
【００４４】
Ｚは、平均値１．１２８４σ及び０．８５２５σの標準偏差を有する折り畳み正規分布を有する。Ｑは、平均値１．１２８４σ及び０．８５２５σ／ｓｑｒｔ（ω）の標準偏差を有する正規分布を有し、ここで、ωは、パッチ内のピクセル数（例えば、３×３のパッチでは９個、５×５のパッチでは２５個）である。図１、図２、及び図３は、それぞれ、パッチサイズ１×１、３×３、及び５×５の確率分布のグラフを示している。平均値及び標準偏差がノイズレベルσに依存することに注意することは重要である。ノイズレベルの正確な推定は不可欠である。ノイズレベルは、センサ特性、及びデジタルカメラパイプライン内でノイズ除去法が適用されることになる点に依存する。付加的な情報は、全体が本明細書に組み込まれている２００８年１０月２日公開のＢａｑａｉ他の「信号処理システムにおけるノイズを分析する方法及び装置」という名称の米国特許出願出願番号第２００８／０２４０２０３号に見出される。パッチサイズを１×１からより大きいものへと切り換える時には、Ｌ1距離測度の分布は、折り畳み正規分布から正規分布へと変化する。様々なパッチサイズに対する閾値は相互に関連するが、図１、図３、及び図３から分るように、その影響は異なる。パッチサイズ１×１に伴う距離は、折り畳み正規分布である。より大きいパッチサイズは、漸次的に減少する標準偏差を有する正規分布を生じる。これは、パッチサイズが拡大する時に閾値範囲が狭くなることを意味する。これを表２にも示している。
【００４５】
（表２）
2011070681.tif 000012
【００４６】
閾値選択
異なるパッチサイズは、異なる分布を有するが、その平均値は同じであり、その標準偏差は、相互に関連する。正規分布する距離（パッチサイズ＞１×１）は、中央値に等しい平均値を有する。閾値が平均値（１．１２８４σ）にあるものとして選択された場合には、０．５というピクセル相似率が生じる。しかし、パッチサイズが１×１の時のＬ1距離は、（非対称な）折り畳み正規分布を有する。その結果、中央値は、平均値に等しくない。０．５というピクセル相似率を得るためには、閾値は、０．９５３９σである中央値になければならない。従って、パッチサイズ１×１では、０．９５３９σという閾値が、３×３のパッチに対する１．１２８４σという閾値に対応する。両方の場合に０．５という相似率が生じる。言い換えれば、同じ相似率を得るためには、パッチサイズに関わらず、距離測度の下側のテール部の確率が同じであるように閾値を選ばなければならない。図４及び図５は、この点をパッチサイズ１×１及び３×３に対して例示している。
【００４７】
以下では、閾値の間の関係をパッチサイズ＞１×１に対して導出する。パッチサイズ＞１×１（Ｑ）における相似性測度の分布は、ガウス分布：
【００４８】
【数９】
2011070681.tif 000013
【００４９】
であり、閾値は、その平均値μq＝１．１２８４σ及び標準偏差σq＝０．８５２５σ／ｓｑｒｔ（ω）を用いて書くことができる：
【００５０】
【数１０】
2011070681.tif 000014
【００５１】
α＝０は、０．５というピクセル相似性を生じ、α＜０は、相似率を＜０．５にし、α＞０は、相似率＞０．５を意味することに注意されたい。一般性を失うことなく、望ましい相似率≧０．５に対して、パッチサイズ＞１×１に対する閾値間の関係が導出される。類似の方式で、率＜０．５を処理することができる。従って、
【００５２】
【数１１】
2011070681.tif 000015
【００５３】
項を並べ替えると、αは次式のように書くことができる：
【００５４】
【数１２】
2011070681.tif 000016
【００５５】
αが同じままに留まる限り、パッチサイズに関係なく一定の相似率が得られることになる。
【００５６】
従って、上述の関係を用いてパッチサイズ間の切り換えを実施することができる。単一の画像では、他のものよりも重度に劣化した画像の外観は、より大きいパッチサイズで取り扱われ、軽度に劣化した外観は、より小さいパッチサイズを用いて処理される。同様に、滑らかさ、テクスチャ、及び構造のような領域特性によっては、異なるパッチサイズを用いることができる。
【００５７】
閾値範囲
ガウス分布下の面積の９５％は、平均値付近の２つの標準偏差内にある。この範囲は、上側及び下側の閾値限界を決めると考えられる。パッチサイズ１×１において、折り畳み正規分布における９５％領域は、０．００８９から２．７７２の閾値範囲を生じる。より大きいパッチサイズ（＞１×１）に対する閾値範囲は、μq±２σqである。パッチサイズが拡大する時に、パッチ内のピクセル数ωは増大し、従って、標準偏差は減少する（σq＝０．８５２５σ／ｓｑｒｔ（ω）であることを思い出されたい）。その結果、閾値範囲は、表３に示しているように狭くなる：
【００５８】
【数１３】
2011070681.tif 000017
【００５９】
（表３）
2011070681.tif 000018
【００６０】
複雑度は、パッチサイズと共に増大するので、一部の実施形態では、望ましい品質を得る最小パッチサイズを用いることが好ましい。
【００６１】
図６は、画像内の局所相似性を測定する方法の流れ図を示している。最初の段階では、照明、照度、露出時間、絞り、シーンカテゴリ、及びカメラ利得のような撮像条件が得られる。これらのファクタに基づいて、適切なパッチサイズが判断される。ルックアップテーブル（ＬＵＴ）から、対応する閾値が選択される。ＬＵＴに対する閾値エントリは、望ましい相似率、撮像条件、及び様々なパッチサイズ実施間の切れ目のない移行を含むが、これらに限界されないいくつかのファクタに基づくとすることができる。例えば、アプリケーションによっては、パッチのサイズは、１×１から１７×１７又はそれよりも多くのどこかの範囲にわたるものとすることができる。この工程は、画像内の全てのピクセル又は領域に対して繰り返される。この局所画像相似性測度は、復元、分類、セグメンテーション、及び検出を含むが、これらに限定されないアプリケーションに対して用いることができる。
【００６２】
図８は、局所相似性推定法を実施するように構成された例示的なコンピュータデバイス５００のブロック図を示している。コンピュータデバイス５００は、画像及び映像のような情報を取得、記憶、計算、通信、及び／又は表示するのに用いることができる。例えば、コンピュータデバイス５００は、内部に記憶された画像を有し、更に、本方法は、画像条件に基づいて、従来の方法よりも効率的な方式で良好な品質を伴って様々なアプリケーションにおいて画像内の局所相似性を識別することができる。一般的に、コンピュータデバイス５００を実施するのに適するハードウエア構造は、ネットワークインタフェース５０２、メモリ５０４、プロセッサ５０６，Ｉ／Ｏデバイス５０８、バス５１０、及びストレージデバイス５１２を含む。十分な速度を有する適切なプロセッサが選択される限り、プロセッサの選択は重要ではない。メモリ５０４は、当業技術で公知のあらゆる従来のコンピュータメモリとすることができる。ストレージデバイス５１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、フラッシュメモリカード、又はあらゆる他のストレージデバイスを含むことができる。コンピュータデバイス５００は、１つ又はそれよりも多くのネットワークインタフェース５０２を含むことができる。ネットワークインタフェースの例は、「イーサネット（登録商標）」又は他の種類のＬＡＮに接続したネットワークカードを含む。Ｉ／Ｏデバイス５０８は、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの１つ又はそれよりも多くを含むことができる。相似性測定を実施する局所相似性アプリケーション５３０は、ストレージデバイス５１２及びメモリ５０４に記憶され、一般的に、アプリケーションが処理されるように処理される見込みが高い。コンピュータデバイス５００には、図５に示しているものよりも多いか又は少ない構成要素を含めることができる。一部の実施形態では、相似性測定ハードウエア５２０が含まれる。図５のコンピュータデバイス５００は、相似性測定のためのアプリケーション５３０及びハードウエア５２０を含むが、本方法は、ハードウエア、ファームウエア、ソフトウエア、又はこれらのあらゆる組合せのコンピュータデバイス上で実施することができる。
【００６３】
各ピクセル又は画像領域では、画像を劣化させる劣化の推定値を得ることが重要である。これらの劣化は、カメラ光学系によって導入されたぼけ、照度に起因する色かぶり、広いダイナミックレンジの画像に対する露出補償、信号及び回路からのノイズ、弱光を補償するために印加された利得、及びモザイク除去のような演算によってカメラパイプライン内に導入されたアーチファクトを含む。一部の実施形態では、これらの情報は、ルックアップテーブルに記憶される。
【００６４】
一部の実施形態では、局所相似性推定アプリケーション５３０は、いくつかのアプリケーション及び／又はモジュールを含む。一部の実施形態では、局所相似性推定アプリケーション５３０は、１×１のパッチによって相似性を推定するように構成されたモジュール５３２、より大きいパッチサイズ（＞１×１）を用いることによる相似性測定に向けて構成されたモジュール５３４、及びパッチサイズ間で切り換えるように構成されたスイッチングモジュール５３６を含む。
【００６５】
適切なコンピュータデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、ホームエンタテインメントシステム、又はあらゆる他の適切なコンピュータデバイスを含む。
【００６６】
局所画像相似性を測定する方法及びそのためのシステムを利用するために、ある一定の画像が得られる。この画像に対して実施される幅広いアプリケーションによっては、そのアプリケーションの手法に従って適切な時点で類似する領域又はピクセルが識別される。例えば、復元の手法では、局所相似性測定法は、類似領域を識別して劣化を除去し、従って、画像品質を改善する。一部の実施形態では、復元は、システム上で自動的に行われ、一部の実施形態では、ユーザが、ボタンを押下し、スクリーンをタッチするなどして入力を選択すること、又はあらゆる他の入力機構によって復元を開始することができる。
【００６７】
作動時に、Ｌ1距離測度に基づいて局所画像相似性を推定する方法及びそのためのシステムは、画像内の劣化度を判断する。一部の実施形態では、劣化は、ピクセル毎に判断され、他の実施形態では、劣化を判断するのに画像のより大きい部分が用いられる。距離測度パッチサイズは、アプリケーションに依存する。一部の実施形態では、異なるパッチサイズ実施に対して閾値を適切に選択することにより、一定の相似率が維持される。
【００６８】
画像処理が本説明の主な焦点であったが、本明細書に説明した方法及びシステムは、音声処理又は映像処理のような他の種類の処理に適用することができる。
本明細書に説明した方法及びシステムは、コンピュータビジョン、機械学習、並びに超解像度修復テクスチャ合成、セグメンテーション、及びオブジェクト／シーン／テクスチャ分類化のような画像修復アプリケーション、及びその他の実施に適用することができる。
【００６９】
例示的実施例
１．
画像内の局所相似性を測定するデバイス上で実施される方法であって、
ａ．撮像条件を取得する段階、
ｂ．適切なパッチサイズを判断する段階、
ｃ．閾値を選択する段階、及び
ｄ．局所画像相似性を測定する段階、
を含むことを特徴とする方法。
２．
前記撮像条件は、照明、照度、露出時間、絞り、シーンカテゴリ、及びカメラ利得から成る群から選択されることを特徴とする上記「１．」に記載の方法。
３．
前記適切なパッチサイズは、前記撮像条件に基づいて判断されることを特徴とする上記「１．」に記載の方法。
４．
前記閾値は、ルックアップテーブルに記憶された１組の閾値からのものであることを特徴とする上記「１．」に記載の方法。
５．
前記閾値を選択する段階は、望ましい相似率、撮像条件、パッチサイズ実施間の移行の切れ目のなさのうちの少なくとも１つに基づくことを特徴とする上記「１．」に記載の方法。
６．
パッチサイズ間で適応的に切り換える段階を更に含むことを特徴とする上記「１．」に記載の方法。
７．
前記切り換える段階は、自動であることを特徴とする上記「６．」に記載の方法。
８．
前記パッチサイズは、１×１、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチサイズから成る群から選択されることを特徴とする上記「１．」に記載の方法。
９．
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択されることを特徴とする上記「１．」に記載の方法。
１０．
画像内の局所相似性を測定するためのデバイス上で実装されるシステムであって、
ａ．１×１のパッチサイズを利用するように構成された第１のモジュール、
ｂ．このモジュールに作動的に結合され、より大きいパッチサイズを利用するように構成された第２のモジュール、及び
ｃ．前記第１のモジュール及び前記第２のモジュールに作動的に結合され、様々なパッチサイズの局所相似性を測定するために該第１のモジュールと該第２のモジュールの間で切り換えるように構成されたスイッチングモジュール、
を含むことを特徴とするシステム。
１１．
前記切り換える段階は、パッチサイズに関係なく同じ相似率を維持する段階を含むことを特徴とする上記「１０．」に記載のシステム。
１２．
前記切り換える段階は、自動であることを特徴とする上記「１０．」に記載のシステム。
１３．
前記より大きいパッチサイズは、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチから成る群から選択されることを特徴とする上記「１０．」に記載のシステム。
１４．
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択されることを特徴とする上記「１０．」に記載のシステム。
１５．
ａ．アプリケーション及び／又は撮像条件に対して適切なパッチサイズを判断し、画像劣化が閾値よりも小さい場合はより小さいパッチサイズを利用し、かつ劣化レベルが上昇する時に該パッチサイズを漸次的に拡大するように構成されたアプリケーションを記憶するためのメモリ、及び
ｂ．前記メモリに結合され、前記アプリケーションを処理するように構成された処理構成要素、
を含むことを特徴とするデバイス。
１６．
前記パッチサイズを切り換える段階を更に含むことを特徴とする上記「１５．」に記載のデバイス。
１７．
前記パッチサイズを適応的に切り換える段階が、該パッチサイズに関係なく同じ相似率を維持する段階を含むことを特徴とする上記「１６．」に記載のデバイス。
１８．
前記切り換える段階は、自動であることを特徴とする上記「１７．」に記載のデバイス。
１９．
前記パッチは、１×１、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５、及び１７×１７のパッチから成る群から選択されることを特徴とする上記「１５．」に記載のデバイス。
２０．
パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート家電、ゲーム専用機、デジタルカメラ、デジタルカムコーダー、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤ書込機／再生機、テレビジョン、及びホームエンタテインメントシステムから成る群から選択されることを特徴とする上記「１５．」に記載のデバイス。
【００７０】
本発明の構成及び作動の原理の理解を容易にするために、詳細内容を組み込んだ特定的な実施形態を用いて本発明を説明した。従って、本明細書における特定的な実施形態及び詳細内容へのそのような言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。特許請求の範囲によって定められる本発明の精神及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を加えることができることが当業者には直ちに明らかであろう。
【符号の説明】
【００７１】
ＬＵＴ  ルックアップテーブル
【図１】
2011070681.tif 000019
【図２】
2011070681.tif 000020
【図３】
2011070681.tif 000021
【図４】
2011070681.tif 000022
【図５】
2011070681.tif 000023
【図６】
2011070681.tif 000024
【図７】
2011070681.tif 000025
【図８】
2011070681.tif 000026
【外国語明細書】
2011070681.tif 000027
2011070681.tif 000028
2011070681.tif 000029
2011070681.tif 000030
2011070681.tif 000031
2011070681.tif 000032
2011070681.tif 000033
2011070681.tif 000034
2011070681.tif 000035
2011070681.tif 000036
2011070681.tif 000037
2011070681.tif 000038
2011070681.tif 000039
2011070681.tif 000040
2011070681.tif 000041
2011070681.tif 000042
2011070681.tif 000043
2011070681.tif 000044
2011070681.tif 000045
2011070681.tif 000046
2011070681.tif 000047
2011070681.tif 000048
2011070681.tif 000049
2011070681.tif 000050
2011070681.tif 000051
2011070681.tif 000052
2011070681.tif 000053
2011070681.tif 000054
2011070681.tif 000055