(57)【要約】  画像センサにより取り込まれた画像をデモザイク処理する方法であって、（ａ）複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、それぞれの第１の信頼値を演算するステップと、（ｂ）閾値よりも小さな第１の信頼値を有する各補間ピクセル値を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップと、（ｃ）複数の第２および第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２および第３の閾値化マッピングを生成するステップと、（ｄ）すべての閾値化マッピングに含まれるアレイ座標として、高信頼アレイ座標を決定するステップであり、残りのアレイ座標が低信頼アレイ座標である、複数の高信頼アレイ座標を決定するステップと、（ｅ）各高信頼アレイ座標における、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、（ｆ）低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップと、を含む。【選択図】  図１３
2021507643.tif 000002
【特許請求の範囲】
【請求項１】
複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像をデモザイク処理する方法であって、前記複数のセンサピクセルが、複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含み、
複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、前記複数の第２の一部分のアレイ座標または前記複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、前記複数の第１の補間ピクセル値が、前記複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、前記第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた前記複数の第２の一部分のアレイ座標および前記複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
前記複数の第２の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
前記複数の第３の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
前記第１の閾値化マッピング、前記第２の閾値化マッピング、および前記第３の閾値化マッピングそれぞれに含まれる前記複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、複数の高信頼アレイ座標を決定するステップと、
前記複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
前記複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、前記洗練された画像を充填するステップと、
を含む、方法。
【請求項２】
前記複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、前記充填するステップが、前記複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する前記複数の低信頼アレイ座標ごとに、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、前記複数の重みがそれぞれ、前記高信頼アレイ座標と前記低信頼アレイ座標との間の距離および前記低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値間の差分の少なくとも一方により決定される、複数の重みを演算するステップと、
前記複数の重みの合計が所定の重み閾値を超える場合に、前記複数の重みのうちの対応する１つを乗じた前記複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、前記割り当てピクセル値を演算するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記複数の重みを演算するステップにおいて、前記複数の重みがそれぞれ、前記距離の単調減少関数である近接性基準の関数である、請求項２に記載の方法。
【請求項４】
前記複数の重みを演算するステップにおいて、前記複数の重みがそれぞれ、前記差分の単調減少関数である類似性基準の関数である、請求項２または３に記載の方法。
【請求項５】
前記演算するステップにおいて、前記複数の第１の信頼値がそれぞれ、前記隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記第１の座標マッピングを生成するステップをさらに含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記低信頼アレイ座標の基本ピクセル値が、前記第１のカラーフィルタと関連付けられており、
前記複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、前記複数の倍率がそれぞれ、前記第１のカラーフィルタと関連付けられた前記高信頼アレイ座標における前記ピクセル値に対する前記低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、
前記合計が前記所定の重み閾値を超える場合に、前記複数の重みのうちの対応する１つおよび前記複数の倍率のうちの対応する１つを乗じた前記複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、前記割り当てピクセル値を演算するステップと、
をさらに含む、請求項２〜６のいずれか一項に記載の方法。
【請求項８】
前記複数の重みの前記合計が前記所定の重み閾値未満である場合に、色中立条件を満たす前記第１のカラーフィルタ、前記第２のカラーフィルタ、および前記第３のカラーフィルタそれぞれに対応する第１のピクセル値、第２のピクセル値、および第３のピクセル値を有する前記複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する前記割り当てピクセル値を設定する、請求項２〜７のいずれか一項に記載の方法。
【請求項９】
複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像を処理する画像デモザイク処理装置であり、前記複数のセンサピクセルが、複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む、画像デモザイク処理装置であって、
持続性コンピュータ可読命令を記憶するとともに、前記画像を記憶するように構成されたメモリと、
前記命令を実行することによって、
複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、前記複数の第２の一部分のアレイ座標または前記複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、前記複数の第１の補間ピクセル値が、前記複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、前記第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた前記複数の第２の一部分のアレイ座標および前記複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
前記複数の第２の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
前記複数の第３の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
前記第１の閾値化マッピング、前記第２の閾値化マッピング、および前記第３の閾値化マッピングそれぞれに含まれる前記複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、複数の高信頼アレイ座標を決定するステップと、
前記複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
前記複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、前記洗練された画像を充填するステップと、
を行うように構成されたマイクロプロセッサと、
を備えた、画像デモザイク処理装置。
【請求項１０】
前記複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、前記マイクロプロセッサが、前記充填するステップにおいて、前記複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する前記複数の低信頼アレイ座標ごとに、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、前記複数の重みがそれぞれ、前記高信頼アレイ座標と前記低信頼アレイ座標との間の距離および前記低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値の類似性の少なくとも一方により決定される、複数の重みを演算するステップと、
前記複数の重みの合計が所定の重み閾値を超える場合に、前記複数の一部分の高信頼アレイ座標のピクセル値の加重平均として、前記割り当てピクセル値を演算するステップと、
を行うようにさらに構成された、請求項９に記載の画像デモザイク処理装置。
【請求項１１】
前記演算するステップにおいて、前記複数の第１の信頼値がそれぞれ、前記隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、請求項９または１０に記載の画像デモザイク処理装置。
【請求項１２】
前記複数の重みがそれぞれ、前記距離の単調減少関数である近接性基準の関数である、請求項１０または１１に記載の画像デモザイク処理装置。
【請求項１３】
前記複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数である、請求項１０〜１２のいずれか一項に記載の画像デモザイク処理装置。
【請求項１４】
前記マイクロプロセッサが、低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を前記複数の高信頼アレイ座標が含む場合に、前記隔離高信頼アレイ座標を低信頼アレイ座標として指定するようにさらに構成された、請求項９〜１３のいずれか一項に記載の画像デモザイク処理装置。
【請求項１５】
前記マイクロプロセッサが、前記複数の重みの前記合計が前記所定の重み閾値未満である場合に、色中立条件を満たす前記第１のカラーフィルタ、前記第２のカラーフィルタ、および前記第３のカラーフィルタそれぞれに対応する第１のピクセル値、第２のピクセル値、および第３のピクセル値を有する前記複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する前記割り当てピクセル値を設定するようにさらに構成された、請求項１０〜１４のいずれか一項に記載の画像デモザイク処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、いずれも２０１８年１月１６日に出願された米国特許仮出願第６２／６１７，７０９号および欧州特許出願第１８１５１８５２．３号の優先権を主張するものであり、それぞれのすべての内容が参照により本明細書に組み込まれている。
【背景技術】
【０００２】
高ダイナミックレンジ（ＨＤＲ）画像および映像の高精度なレンダリングには、デモザイク処理プロセスにより取り込まれるアーチファクトが結果としての画像に生じないように、カメラにより受像された生画像をデモザイク処理するように構成された画像プロセッサが必要である。既存のデモザイク処理プロセスにおいては、カラーアーチファクトが共通の問題である。非特許文献１には、適応デモザイク処理アルゴリズムが提示されている。最初に、異なるエッジ方向に沿った色差の分散に基づいて、欠落した緑色サンプルが推定される。その後、補間された緑色平面に基づいて、欠落した赤色および青色成分が推定される。このアルゴリズムは、テクスチャ領域に詳細を保存すると同時に、カラーアーチファクトを低減可能である。さらに、非特許文献２においては、カラーチャンネル間の相関を考慮して、カラーフィルタアレイ（ＣＦＡ）画像が補間される。この提案方法では、ＣＦＡ画像において直接、水平方向および垂直方向のチャンネル間差分を推定して、補間の方向を決定する。その後、絶対チャンネル間差分の違いを考慮し、推定した水平方向および垂直方向に沿って、３つの色成分（Ｒ／Ｇ／Ｂ）が補間され、この補間画像を改善する後処理が行われる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】K.-H. Chung et al., "Color Demosaicing Using Variance of Color Differences", IEEE Transactions on Image Processing, volume 15, issue 10, October 2006, pages 2944-2955
【非特許文献２】Ji Won Lee et al., "Adaptive demosaicing algorithm using characteristics of color filter array pattern" in "Deformation models", 17 December 2013, Springer Netherlands, Dordrecht, volume 11, pages 29-53
【発明の概要】
【課題を解決するための手段】
【０００４】
本明細書に開示の実施形態は、前述のような既存のデモザイク処理プロセスのカラーアーチファクトの問題を改善する。画像センサにより取り込まれた画像をデモザイク処理する方法が開示される。画像センサは、複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する。複数のセンサピクセルは、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む。この方法は、演算、生成、決定、構成、および充填のステップを含む。
【０００５】
演算ステップは、複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップを含む。複数の第１の補間ピクセル値は、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間される。
【０００６】
生成ステップは、閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップを含む。第１の座標マッピングは、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む。
【０００７】
また、この方法は、複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップを含む。また、この方法は、複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップを含む。
【０００８】
決定ステップは、第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップを含む。構成ステップは、複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップを含む。充填ステップは、複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップを含む。
【０００９】
画像センサにより取り込まれた画像を処理する画像デモザイク処理装置が開示される。画像デモザイク処理装置は、メモリおよびマイクロプロセッサを備える。メモリは、持続性コンピュータ可読命令を記憶するとともに、画像を記憶するように構成される。マイクロプロセッサは、命令を実行して、前述の方法を実行するように構成される。
【図面の簡単な説明】
【００１０】
【図１】カメラによってその画像センサ上に撮像されたＨＤＲシーンを示した図である。
【図２Ａ】一実施形態における、図１の画像センサの領域およびそこから生成された生画像の対応領域の模式平面図である。
【図２Ｂ−２Ｄ】図２の生画像から生成された赤色チャンネルの例示的な模式図である。
【図２Ｅ】図２Ｂ〜図２Ｄのチャンネルの組み合わせであるデモザイク処理画像の模式図である。
【図３】一実施形態における、図２の生画像から、エッジアーチファクトのない出力画像を生成するように構成された画像デモザイク処理装置の概略図である。
【図４】図２Ｂの赤色チャンネルに対応する赤色信頼マップの例示的な領域を示した図である。
【図５】図２Ｃの緑色チャンネルに対応する緑色信頼マップの例示的な領域を示した図である。
【図６】図２Ｄの青色チャンネルに対応する青色信頼マップの例示的な領域を示した図である。
【図７】図４の赤色信頼マップの例示的な閾値化マッピングを示した図である。
【図８】図５の緑色信頼マップの例示的な閾値化マッピングを示した図である。
【図９】図６の青色信頼マップの例示的な閾値化マッピングを示した図である。
【図１０】全体として、図３の画像デモザイク処理装置により生成された高信頼アレイ座標の一例である高信頼アレイ座標の例を示した図である。
【図１１】一実施形態における、図２Ｂ〜図２Ｄのカラーチャンネルおよび図１０の高信頼アレイ座標から生成された例示的な洗練された画像を示した図である。
【図１２】一実施形態における、図３の画像デモザイク処理装置によって図１１の洗練された画像から生成された出力画像の一例を示した図である。
【図１３】一実施形態における、画像センサにより取り込まれた画像をデモザイク処理する方法を示したフローチャートである。
【図１４】一実施形態における、図１３の方法により形成された洗練された画像を充填する方法を示したフローチャートである。
【発明を実施するための形態】
【００１１】
本明細書に提示の実施形態の利点を説明する一例として、図１は、高い輝度ダイナミックレンジを有するシーン１２０を撮像するカメラ１３０を示している。シーン１２０には、発光するライトボックス１２２の最上面１２２Ｔ上の鍵１２１の平面図を含む。カメラ１３０は、結像レンズ（図示せず）、画像センサ１３２、メモリ１１０、および画像センサ１３２に通信結合されたマイクロプロセッサ１０２を具備する。画像センサ１３２は、ピクセルアレイ１３４Ａを含み、その上にカラーフィルタアレイ（ＣＦＡ）１３６を有していてもよい。ピクセルアレイ１３４Ａは、複数のピクセル１３４を含むが、図示の明瞭化のため、図１には示していない。ＣＦＡ１３６の各カラーフィルタは、ピクセルアレイ１３４Ａの各ピクセル１３４と位置合わせされている。結像レンズは、シーン１２０を画像センサ１３２上に結像する。また、画像センサ１３２は、少なくとも１つのアナログ−デジタルコンバータを含む回路１３８を具備する。
【００１２】
各ピクセル１３４は、ピクセルアレイ１３４Ａに結像されたシーン１２０からの各光強度に対応する各ピクセル電荷を有する。回路１３８は、生画像１９４としてメモリ１１０に記憶される複数のピクセル値のそれぞれへと各ピクセル電荷を変換する。カメラ１３０は、生画像１９４をデモザイク処理画像１９６として表示するように構成されたディスプレイ１３９を具備していてもよい。
【００１３】
シーン１２０においては、ライトボックス１２２が最上面１２２Ｔを通じて発光する。鍵１２１は不透明で黒く見えるため、鍵１２１と最上面１２２Ｔとが実質的に異なる照度を有することにより、シーン１２０は高い照度ダイナミックレンジを有する。鍵１２１は、その外周の非断続曲線として表されるエッジ１２１Ｅを有する。シーン１２０の高精度なＨＤＲ画像であれば、エッジ１２１Ｅにおいて、ピクセル値が黒色、白色、またはグレースケールのみに対応するピクセルを含むことになる。ただし、標準的なＨＤＲ撮像のデモザイク処理画像１９６は、擬似色のエッジアーチファクトを含み、エッジ１２１Ｅの画像がグレーレベルではない色に対応するピクセル値を有するピクセルを含む。本明細書に提示の実施形態（たとえば、画像デモザイク処理方法およびこれらの方法を実装するシステム）は、前述の画像アーチファクトのないデモザイク処理画像１９６を生成する。
【００１４】
図２Ａは、画像センサ２００の領域および画像センサ２００により生成された生画像２０２の対応領域の模式平面図である。画像センサ２００および生画像２０２は、ｘ−ｙ座標系２９８に関して位置決めされている。
【００１５】
画像センサ２００は、画像センサ１３２の一例であって、ＣＦＡ１３６は、バイエルパターンに配置された複数の赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）カラーフィルタを含む。座標（ｘ，ｙ）は、各カラーフィルタおよびその直下のピクセルの場所を示す。たとえば、画像センサ２００は、座標（ｉ，ｊ）において赤色のカラーフィルタを含み、ｉおよびｊが整数である。たとえば、Ｇ（ｉ＋１，ｊ）は、座標（ｉ＋１，ｊ）における緑色のカラーフィルタを表す。ＣＦＡ１３６は、本発明の範囲から逸脱することなく、異なるカラーフィルタを含んでいてもよい。たとえば、ＣＦＡ１３６は、シアン色、マゼンタ色、黄色、および無色のカラーフィルタのうちの少なくとも１つのアレイを含んでいてもよい。無色のカラーフィルタは、可視光および近赤外光の少なくとも一方に対して透明である。
【００１６】
生画像２０２は、生画像１９４の一例であって、複数の基本ピクセル値Ｐｒ、複数の基本ピクセル値Ｐｇ、および複数の基本ピクセル値Ｐｂを含む。生画像２０２は、たとえばエッジ１２１Ｅの領域の画像である撮像エッジ２０４を含んでいてもよい。図２Ａは、ピクセルアレイ１３４ＡおよびＣＦＡ１３６の行および列に関するスキューラインとして、撮像エッジ２０４を模式的に示している。
【００１７】
各基本ピクセル値Ｐｒは、ＣＦＡ１３６の赤色カラーフィルタの直下の各ピクセル１３４により生成される。各基本ピクセル値Ｐｇは、ＣＦＡ１３６の緑色カラーフィルタの直下の各ピクセル１３４により生成される。各基本ピクセル値Ｐｂは、ＣＦＡ１３６の青色カラーフィルタの直下の各ピクセル１３４により生成される。たとえば、各座標（ｉ，ｊ）、（ｉ，ｊ＋１）、および（ｉ＋１，ｊ＋１）における基本ピクセル値Ｐｒ、Ｐｇ、およびＰｂは、同じ各座標（ｉ，ｊ）、（ｉ，ｊ＋１）、および（ｉ＋１，ｊ＋１）における画像センサ２００の各ピクセルにより生成される。より簡潔な表現として、本明細書における表記法を導入するなら、基本ピクセル値Ｐｒ（ｉ，ｊ）、Ｐｇ（ｉ，ｊ＋１）、およびＰｂ（ｉ＋１，ｊ＋１）は、カラーフィルタＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ＋１）、およびＢ（ｉ＋１，ｊ＋１）の直下の画像センサ２００の各ピクセルにより生成される。
【００１８】
図２Ｂ、図２Ｃ、および図２Ｄはそれぞれ、生画像１９４から生成された赤色チャンネル２１０、緑色チャンネル２２０、および青色チャンネル２３０の模式図である。チャンネル２１０、２２０、および２３０は、ｘ−ｙ座標系２９８に関して位置決めされている。
【００１９】
赤色チャンネル２１０は、ＣＦＡ１３６の赤色ピクセルに対応する場所において、生画像１９４の基本ピクセル値Ｐｒを含む。また、赤色チャンネル２１０は、基本ピクセル値Ｐｒごとに、隣接基本ピクセル値Ｐｒから補間された３つの補間ピクセル値ｐｒを含む。各補間ピクセル値ｐｒは、複数の各補間ピクセル値ｐｒのうちの１つに対する複数の座標（ｘ，ｙ）の座標マッピングを赤色チャンネル２１０が含むように、各座標（ｘ，ｙ）に対してマッピングされる。
【００２０】
緑色チャンネル２２０は、ＣＦＡ１３６の緑色カラーフィルタに対応する場所において、生画像１９４の基本ピクセル値Ｐｇを含む。また、緑色チャンネル２２０は、基本ピクセル値Ｐｇごとに、隣接基本ピクセル値Ｐｇから補間された２つの補間ピクセル値ｐｇを含む。各補間ピクセル値ｐｇは、複数の各補間ピクセル値ｐｇのうちの１つに対する複数の座標（ｘ，ｙ）の座標マッピングを緑色チャンネル２２０が含むように、各座標（ｘ，ｙ）に対してマッピングされる。
【００２１】
青色チャンネル２３０は、ＣＦＡ１３６の青色ピクセルに対応する場所において、生画像１９４の基本ピクセル値Ｐｂを含む。また、青色チャンネル２３０は、基本ピクセル値Ｐｂごとに、隣接基本ピクセル値Ｐｂから補間された３つの補間ピクセル値ｐｂを含む。各補間ピクセル値ｐｂは、複数の各補間ピクセル値ｐｂのうちの１つに対する複数の座標（ｘ，ｙ）の座標マッピングを青色チャンネル２３０が含むように、各座標（ｘ，ｙ）に対してマッピングされる。
【００２２】
図２Ｅは、赤色チャンネル２１０、緑色チャンネル２２０、および青色チャンネル２３０の組み合わせであるデモザイク処理画像２４０の模式図である。デモザイク処理画像２４０は、１つの基本ピクセル値（Ｐｒ、Ｐｇ、またはＰｂ）および２つの補間ピクセル値（ｐｒ、ｐｇ、またはｐｂ）を含むピクセル値トリプレットとそれぞれ関連付けられた複数の表示ピクセルを含む。デモザイク処理画像２４０は、エッジ１２１Ｅにおけるデモザイク処理画像１９６と類似のエッジアーチファクトを含む可能性がある。
【００２３】
図３は、生画像２０２から、エッジアーチファクトのないデモザイク処理画像３３９を生成するように構成された画像デモザイク処理装置３００の概略図である。画像デモザイク処理装置３００は、マイクロプロセッサ３０２と、コンピュータ可読命令を含むソフトウェア３２０を記憶するメモリ３１０とを具備する。マイクロプロセッサ３０２は、画像プロセッサ等のデジタルシグナルプロセッサであってもよい。メモリ３１０は、非持続性および／または持続性であってもよく、また、揮発性メモリ（たとえば、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、またはこれらの任意の組み合わせ）および不揮発性メモリ（たとえば、フラッシュ、ＲＯＭ，磁気媒体、光学媒体、またはこれらの任意の組み合わせ）の一方または両方を含んでいてもよい。
【００２４】
メモリ３１０およびマイクロプロセッサ３０２はそれぞれ、カメラ１３０（図１）のメモリ１１０およびマイクロプロセッサ１０２として機能し得る。本明細書に記載の通り、マイクロプロセッサ３０２は、命令を実行して、画像デモザイク処理装置３００の機能を実行するように構成される。メモリ３１０は、基本ピクセル値３１１、信頼閾値３１２、重み閾値３１９Ｔ、信頼マッピング３３１、信頼値３３３、閾値化マッピング３３５、低信頼アレイ座標３３７Ｌ、高信頼アレイ座標３３７Ｈ、洗練された画像３３８、およびデモザイク処理画像３３９のうちの少なくとも１つを記憶していてもよい。ソフトウェア３２０のコンピュータ可読命令には、補間器３２１、信頼評価器３２３、閾値化器３２５、結合演算器３２７、画像生成器３２８、および画像充填器３２９を含む。画像充填器３２９は、スケーリング関数３１８および重み関数３１９の少なくとも一方を含んでいてもよく、これらのいずれかがルックアップテーブルとして記憶されていてもよい。低信頼アレイ座標３３７Ｌおよび高信頼アレイ座標３３７Ｈに位置するピクセルはそれぞれ、低信頼ピクセルおよび高信頼ピクセルと称し得る。
【００２５】
生画像２０２（図２）の基本ピクセル値Ｐｒ、Ｐｇ、およびＰｂは、基本ピクセル値３１１の例である。座標マッピング３３１（１，２，３）は、各補間ピクセル値３３２（１，２，３）を含む。チャンネル２１０、２２０、および２３０の補間ピクセル値ｐｒ、ｐｇ、およびｐｂはそれぞれ、補間ピクセル値３３２（１，２，３）の例である。したがって、座標にマッピングされた補間ピクセル値を含むチャンネル２１０、２２０、および２３０はそれぞれ、座標マッピング３３１（１）、３３１（２）、および３３１（３）の例である。
【００２６】
基本ピクセル値３１１およびデモザイク処理画像３３９は、ＪＰＥＧおよびＴＩＦＦ等の画像ファイルフォーマットまたはＴＩＦＦ／ＥＰおよびＤｉｇｉｔａｌ  Ｎｅｇａｔｉｖｅ（ＤＮＧ）等の生画像フォーマットのいずれかにてメモリ３１０に記憶されていてもよい。ピクセル値３１１、３３２およびデモザイク処理画像３３９は、同じフォーマットで記憶されていてもよいし、異なるフォーマットで記憶されていてもよい。一実施形態においては、ピクセル値３１１、３３２およびデモザイク処理画像３３９の少なくとも一方がメモリ３１０の揮発性メモリに記憶され、デモザイク処理画像３３９がメモリ３１０の不揮発性メモリに記憶される。
【００２７】
図４〜図６はそれぞれ、赤色信頼マップ４１０、緑色信頼マップ５１０、および青色信頼マップ６１０の領域を示している。信頼マップ４１０、５１０、および６１０はそれぞれ、複数の信頼値４１１、５１１、および６１１を含む。信頼値４１１は全体として、画像デモザイク処理装置３００の信頼評価器３２３により生成され、メモリ３１０に記憶された信頼値３３３（１）の一例である。信頼値５１１は全体として、信頼値３３３（２）の一例である。信頼値６１１は全体として、信頼値３３３（３）の一例である。
【００２８】
図４に示すように、複数の信頼値４１１はそれぞれ、赤色チャンネル２１０の各座標（ｘ，ｙ）にマッピングされる。たとえば、信頼値４１１３５は、（ｘ，ｙ）座標（３，５）にマッピングされる。赤色信頼マップ４１０は、ｉ＝２およびｊ＝３の座標系２９８の一例である座標系４９８に関して示している。
【００２９】
図５に示すように、複数の信頼値５１１はそれぞれ、緑色チャンネル２２０の各座標（ｘ，ｙ）にマッピングされる。たとえば、信頼値５１１２３は、（ｘ，ｙ）座標（２，３）にマッピングされる。緑色信頼マップ５１０は、座標系４９８に関して示している。
【００３０】
図６に示すように、複数の信頼値６１１はそれぞれ、青色チャンネル２３０の各座標（ｘ，ｙ）にマッピングされる。たとえば、信頼値６１１２３は、（ｘ，ｙ）座標（２，３）にマッピングされる。青色信頼マップ６１０は、座標系４９８に関して示している。
【００３１】
一般的に、各信頼値４１１ｘｙ、５１１ｘｙ、６１１ｘｙは、座標（ｘ，ｙ）における補間ピクセル値が演算された隣接基本ピクセル値の空間類似性（たとえば、ある領域におけるピクセル強度展開）またはスペクトル類似性（たとえば、異なるスペクトル帯の相関）を示し得る。各信頼値４１１ｘｙ、５１１ｘｙ、６１１ｘｙは、たとえば座標（ｘ，ｙ）における補間ピクセル値が演算された隣接基本ピクセル値の均一度を示し得る。このような均一性は、たとえば隣接基本ピクセル値の相対差分または標準偏差であってもよい。信頼マップ４１０（図４）において、信頼値４１１２４は、たとえば座標（２，３）および（２，５）における側方隣接基本ピクセル値Ｐｒの相対差分である。信頼値４１１３４は、たとえば座標（２，３）、（２，５）、（４，３）、および（４，５）における隅部隣接基本ピクセル値Ｐｒの標準偏差である。信頼マップ５１０（図５）において、信頼値５１１３４は、たとえば座標（２，４）、（３，３）、（３，５）、および（４，４）における側方隣接基本ピクセル値Ｐｇの標準偏差である。信頼マップ６１０（図６）において、信頼値６１１２４は、たとえば座標（１，４）および（３，４）における側方隣接基本ピクセル値Ｐｂの相対差分である。信頼値６１１２３は、たとえば座標（１，２）、（１，４）、（３，２）、および（３，４）における隅部隣接基本ピクセル値Ｐｂの標準偏差である。
【００３２】
画像デモザイク処理装置３００は、閾値化器３２５の実装により、信頼マップ４１０、５１０、および６１０の各信頼値を信頼閾値３１２に対して比較するようにしてもよい。このような比較はそれぞれ、たとえば図７、図８、および図９の閾値化マッピング７３５、８３５、および９３５となる。閾値化マッピング７３５、８３５、および９３５はそれぞれ、閾値化マッピング３３５（１）、３３５（２）、および３３５（３）の例である。信頼閾値３１２は、たとえば基本ピクセル値の相対差分または標準偏差の減少関数であるため、相対差分または標準偏差の減少とともに信頼値が単調増加する。
【００３３】
閾値化マッピング７３５、８３５、および９３５はそれぞれ、信頼閾値３１２未満の信頼値４１１、５１１、および６１１を除去した信頼マップ４１０、５１０、および６１０である。信頼閾値３１２未満の信頼値４１１、５１１、および６１１は、撮像エッジ２０４の近くに位置するピクセルに対応しており、図７〜図９において×マークを付している。たとえば、信頼値４１１３３は、信頼閾値３１２未満となる可能性がある。座標（３，３）における補間赤色ピクセル値は、（各座標（２，３）および（４，３）における）基本ピクセル値Ｐｒ（２，３）およびＰｒ（４，３）から演算され、それぞれが撮像エッジ２０４の反対側にあることから大きく異なるピクセル値を有するためである。同様の理由で、共有領域における他の信頼値４１１ｉｊについても、信頼閾値３１２の特定値に応じて、信頼閾値３１２未満となる可能性がある。たとえば、信頼値４１１３５は、基本ピクセル値Ｐｒ（２，５）およびＰｒ（４，５）間の相対差分として決定されるようになっていてもよい。座標（２，５）におけるセンサピクセルは大抵、座標（４，５）におけるセンサピクセルと同じ側にあるため、各ピクセル値が十分に近く、信頼値４１１３５が信頼閾値３１２を超える可能性がある。
【００３４】
図１０は、画像デモザイク処理装置３００の結合演算器３２７により生成された高信頼アレイ座標３３７Ｈの一例である高信頼アレイ座標１０３７Ｈを示している。高信頼アレイ座標１０３７Ｈには、順序付けペアが付された座標を含むが、低信頼アレイ座標３３７Ｌの例である×が付された低信頼アレイ座標１０３７Ｌは含まない。
【００３５】
閾値化マッピング７３５、８３５、および９３５の座標は、閾値化マッピング７３５、８３５、および９３５ごとに、（ａ）座標の信頼値が信頼閾値３１２を超える場合または（ｂ）座標が基本ピクセル値に対応する場合にのみ、高信頼アレイ座標１０３７Ｈに含まれ得る。それ以外の場合、この座標は、低信頼アレイ座標１０３７Ｌ（たとえば、図１０において×を付した座標）のうちの１つである。たとえば、高信頼アレイ座標１０３７Ｈには、座標（２，２）を含む。信頼値４１１２２および６１１２２が信頼閾値３１２を超え、座標（２，２）が基本ピクセル値Ｐｇ（２，２）に対応するためである。
【００３６】
高信頼座標は、隔離高信頼アレイ座標（たとえば、中間の隣接高信頼座標１０３７Ｈを有さない座標および／または低信頼アレイ座標により完全に囲まれた座標）であってもよい。隔離高信頼座標は、たとえば低信頼アレイ座標１０３７Ｌとして、結合演算器３２７により再割り当てまたは指定されるようになっていてもよい。中間の隣接座標の例としては、側方隣接座標および隅部隣接座標の少なくとも一方が挙げられる。
【００３７】
図１１は、高信頼アレイ座標１０３７Ｈならびにチャンネル２１０、２２０、および２３０から、画像デモザイク処理装置３００の画像生成器３２８によって生成された洗練された画像３３８の一例である洗練された画像１１００を示している。洗練された画像１１００は、低信頼アレイ座標１０３７Ｌに対応する補間ピクセル値を除去した後のデモザイク処理画像２４０（図２）である。除去された補間ピクセル値は、×により指定される。２つの×マークが付いた低信頼アレイ座標１０３７Ｌには、高信頼ピクセル値が１つしかない。×マークが１つだけ付いた低信頼アレイ座標１０３７Ｌは、２つの高信頼ピクセル値（１つの基本ピクセル値Ｐαおよび１つの非基本ピクセル値ｐα）を含む。このように２つの高信頼ピクセル値を含む低信頼アレイ座標１０３７Ｌの例としては、座標（２，３）、（３，２）、および（３，５）が挙げられる。
【００３８】
図１２は、画像デモザイク処理装置３００の画像充填器３２９により生成されたデモザイク処理画像３３９の例であるデモザイク処理画像１２００を示している。デモザイク処理画像１２００は、低信頼アレイ座標１０３７Ｌにおいて割り当てピクセル値Ｖαを追加した洗練された画像１１００である。以下の記述において、（ｘ１，ｙ１）は、低信頼アレイ座標を示し、ターゲット座標とも称する。ターゲット座標（ｘ１，ｙ１）は、関連する基本ピクセル値Ｐα（ｘ１，ｙ１）を有し、また、非基本ピクセル値ｐα（ｘ１，ｙ１）を有していてもよい。以下、高信頼ターゲット座標Ρα（ｘ１，ｙ１）は、Ｐα（ｘ１，ｙ１）またはｐα（ｘ１，ｙ１）のいずれかを示す。下付き文字αは、ｒ、ｇ、およびｂのうちの１つを示し、割り当てピクセル値Ｖｒ、Ｖｇ、およびＶｂはそれぞれ、赤色、緑色、および青色ピクセル値である。
【００３９】
画像充填器３２９は、重み関数３１９を採用して、隣接高信頼ピクセル値（基本ピクセル値Ｐαおよび／または隣接非基本ピクセル値ｐα）から、割り当てピクセル値Ｖαを演算するようにしてもよい。本明細書において、ターゲットピクセルの隣接ピクセル値は、ソース座標（ｘ，ｙ）に対応するソースピクセル値とも称する。以下、Ρα（ｘ，ｙ）は、基本ピクセル値Ｐα（ｘ，ｙ）または非基本ピクセル値ｐα（ｘ，ｙ）のいずれかを示す。重み関数３１９（本明細書においては、重みｗα（ｘ，ｙ）とも称する）は、ターゲットピクセルの半径Ｒ内の隣接ピクセル値の加重平均を生成し得る。重みｗα（ｘ，ｙ）は、近接性基準Π（ｘ，ｙ）および類似性基準σα（ｘ，ｙ）の組み合わせであってもよい。たとえば、重みｗα（ｘ，ｙ）は、近接性基準Π（ｘ，ｙ）および類似性基準σα（ｘ，ｙ）の積または線形結合であってもよい。
【００４０】
一実施形態においては、ターゲット座標（ｘ１，ｙ１）に位置するターゲットピクセルに関して、割り当てピクセル値Ｖα（ｘ１，ｙ１）が隣接高信頼ピクセル値Ρα（ｘ，ｙ）（Ｐα（ｘ，ｙ）および／またはｐα（ｘ，ｙ））の加重平均であり、各隣接ピクセル値が重みｗα（ｘ，ｙ）により加重され、（ｘ，ｙ）≠（ｘ１，ｙ１）である。所与の色αに関しては、基本ピクセル値Ｐα（ｘ，ｙ）および補間ピクセル値ｐα（ｘ，ｙ）の一方のみが所与の座標（ｘ，ｙ）と関連付けられることに留意されたい。割り当てピクセル値Ｖα（ｘ１，ｙ１）は、Ｖα（ｘ１，ｙ１）＝Σｘ，ｙｗα（ｘ，ｙ）Ρα（ｘ，ｙ）として表現可能であり、ｗα（ｘ，ｙ）はΠα（ｘ，ｙ）σα（ｘ，ｙ）に等しくてもよい。
【００４１】
近接性基準Π（ｘ，ｙ）は、距離ｄの単調減少関数として表現可能であり、距離
【数１】
2021507643.tif 000003
は、ソース座標（ｘ，ｙ）とターゲット座標（ｘ１，ｙ１）との間の距離である。たとえば、Π（ｘ，ｙ）＝ｅｘｐ（−ｄ２／（２ρ２））で、ρ＝Ｒ／ｒ０である。定数ｒ０は、ｄ＝Ｒの場合に近接性基準Π（ｘ，ｙ）が０．２０〜０．２５となるように選定され得る。半径Ｒは、たとえば７つ分のセンサピクセルの幅であり、ｒ０＝１．３±０．１である。近接性基準Π（ｄ）は、ｄ＞Ｒの場合に、ゼロに等しくてもよい。
【００４２】
類似性基準σα（ｘ，ｙ）は、ターゲット座標（ｘ１，ｙ１）における基本ピクセル値Ｐα（ｘ１，ｙ１）とソース座標（ｘ，ｙ）における同色ピクセル値Ρα（ｘ，ｙ）（（ｘ，ｙ）に応じて、ピクセル値ｐα（ｘ，ｙ）または基本ピクセル値Ｐα（ｘ，ｙ）のいずれか）との間で増加する相対差分の関数として減少し得る。たとえば、類似性基準は、σα（ｘ，ｙ）＝ｃ１／（ｃ１＋Δｍ）により表現可能であり、Δｍ＞０である。差分Δは、たとえばソースピクセル値Ρα（ｘ，ｙ）と高信頼ターゲットピクセル値（たとえば、基本ピクセル値Ｐα（ｘ１，ｙ１）または必要に応じて非基本ピクセル値ｐα（ｘ１，ｙ１））との間の相対差分である。近接性基準Π（ｘ，ｙ）の最大値に対する定数ｃ１の比は、たとえば０．０２±０．０１である。指数ｍは、たとえば２に等しい。
【００４３】
割り当てピクセル値Ｖαの輝度をその隣接ピクセル値（Ｐα，ｐα）と整合させるため画像充填器３２９は、スケーリング関数３１８を実装して、倍率κにより割り当てピクセル値Ｖαをスケーリングするようにしてもよい。すなわち、Ｖα（ｘ１，ｙ１）＝Σｘ，ｙκ（ｘ，ｙ）ｗα（ｘ，ｙ）Ρα（ｘ，ｙ）である。倍率κの第１の例は、高信頼ピクセル値が１つだけΡα（ｘ１，ｙ１）＝Ｐα（ｘ１，ｙ１）である低信頼アレイ座標（ｘ１，ｙ１）に対応する割り当てピクセル値Ｖαに当てはまる。このような場合、ソース座標（ｘ，ｙ）における倍率κは、ソースピクセル（（ｘ，ｙ））における同色ピクセル値に対する（（ｘ１，ｙ１）における）ターゲットピクセルの高信頼ピクセル値の比である。たとえば、図１１のｘ１＝２およびｙ１＝４において、高信頼ピクセル値は、Ｐｒ（２，４）（赤色）である。（ｘ１，ｙ１）＝（２，４）において、倍率κ（ｘ，ｙ）は、κ（ｘ，ｙ）＝（Ｐｒ（２，４）＋ｃκ）／（Ρｒ（ｘ，ｙ）＋ｃκ）として表現可能である。
【００４４】
定数ｃκは、Ｐｒ（２，４）およびΡｒ（ｘ，ｙ）の一方または両方が基本ピクセル値３１１のノイズフロアに近い結果として倍率κの値が大き過ぎたり小さ過ぎたりすることのないようにするが、この場合、比Ｐｒ（２，４）／Ρｒ（ｘ，ｙ）は、割り当てピクセル値Ｖｒ、Ｖｇ、およびＶｂの決定に意味を持たない。ビット深度が１６に等しいピクセル値で、最大ピクセル値が２１６の場合、定数ｃκは、２２〜２４の範囲であってもよく、たとえばｃκ＝１０である。一般的に、定数ｃκは、基本ピクセル値３１１のノイズフロアを超え、ノイズフロアの１０倍未満であってもよい。あるいは、定数ｃκは、ゼロに等しくてもよい。
【００４５】
倍率κの第２の例は、高信頼ピクセル値が２つ（たとえば、第１および第２の高信頼ピクセル値）であるターゲット低信頼アレイ座標（ｘ１，ｙ１）に対応する割り当てピクセル値Ｖαに当てはまる。このような場合、ソース座標（ｘ，ｙ）における倍率κは、（ａ）ソースピクセルにおける同色ピクセル値に対する第１の高信頼ピクセル値の比および（ｂ）ソースピクセルにおける同色ピクセル値に対する第２の高信頼ピクセル値の比の合計である。たとえば、図１１のｘ１＝２およびｙ１＝３において、高信頼ピクセル値は、Ｐｒ（２，３）（赤色）およびｐｇ（２，３）である。（ｘ１，ｙ１）＝（２，３）において、ソース座標（ｘ，ｙ）における倍率κ（ｘ，ｙ）は、Ｐｒ（２，３）対Ρｒ（ｘ，ｙ）およびｐｇ（２，３）対Ρｇ（ｘ，ｙ）という２つの比の平均である。たとえば、以下の通りである。
【数２】
2021507643.tif 000004
【００４６】
割り当てピクセル値Ｖα（ｘ１，ｙ１）が隣接ピクセル値の加重平均であるかは、重み閾値３１９Ｔの例である所定の閾値τを重みｗα（ｘ，ｙ）の合計Σが超えるかによって決まり得る。たとえば、Ｒ＝７±１の場合は、閾値τ＝０．２±０．１である。重みｗα（ｘ，ｙ）の合計は、たとえばｄのすべての値に関して画像充填器３２９により演算されるようになっていてもよいし、ｄ≦Ｒに限られていてもよい。
【００４７】
第１の実施形態において、合計Σが閾値τを超えない場合、画像充填器３２９は、（ｘ１，ｙ１）における基本ピクセル値に等しくなるように割り当てピクセル値Ｖα（ｘ１，ｙ１）を設定するようにしてもよい。たとえば、デモザイク処理画像１２００における座標（４，２）において、基本ピクセル値は、Ｐｇ（４，２）である。重みｗｒ（ｘ，ｙ）および／またはｗｂ（ｘ，ｙ）の合計Σが閾値τを超えない場合、画像充填器３２９は、Ｐｇ（４，２）に等しくなるようにＶｒ（４，２）および／またはＶｂ（４，２）を設定するようにしてもよい。Ｖｒ（４，２）およびＶｂ（４，２）の両値をこのように設定することは、デモザイク処理画像１２００が座標（４，２）において中間色（たとえば、グレーの色合い）を有することに寄与するため、撮像エッジにおける前述のカラーアーチファクトの導入が回避される。以下２つの実施形態には、アーチファクトを回避する別の手段を含む。
【００４８】
第２の実施形態において、合計Σが閾値τを超えず、ターゲットアレイ座標（ｘ１，ｙ１）が高信頼ピクセル値Ρβ（ｘ１，ｙ１）を有する場合（ここで、βは生画像１９４の第１のカラーチャンネルである）、画像充填器３２９は、高信頼ピクセル値Ρα（ｘｓ，ｙｓ）に等しいものとして割り当てピクセル値Ｖα（ｘ１，ｙ１）を決定するようにしてもよい。ここで、Ρβ（ｘｓ，ｙｓ）は、ターゲットアレイ座標（ｘ１，ｙ１）からの所定の距離（たとえば、半径Ｒ）内のすべてのソースアレイ座標（ｘ，ｙ）のうちでΡβ（ｘ１，ｙ１）に最も近い。本例において、αは、βに対応する第１のチャンネルと異なる生画像１９４の第２のカラーチャンネルである。
【００４９】
第３の実施形態において、合計Σが閾値τを超えない場合、画像充填器３２９は、中間ソースピクセル値Ρα（ｘｎ，ｙｎ）に従って、割り当てピクセル値Ｖα（ｘ１，ｙ１）を決定するようにしてもよい。中間アレイ座標（ｘｎ，ｙｎ）は、最も中間のピクセル値を有するターゲットアレイ座標（ｘ１，ｙ１）の所定の距離（たとえば、半径Ｒ）内の高信頼アレイ座標（ｘ，ｙ）に対応する。中間ピクセル値は、グレーの色合いに対応していてもよい。ピクセル値トリプレットΡｒ，ｇ，ｂ（ｘ，ｙ）が基準を満たす場合に、画像充填器３２９は、それを「中間」と見なし得る。画像充填器３２９は、複数のピクセル値トリプレットΡｒ，ｇ，ｂ（ｘ，ｙ）が十分に中間であるものと見なすように決定するとともに、ターゲットアレイ座標（ｘ１，ｙ１）に最も近接する複数のピクセル値トリプレットのうちの１つとして、中間ソースピクセル値Ρα（ｘｎ，ｙｎ）を決定するようにしてもよい。高信頼ターゲットピクセル値の輝度を整合させるため、スケーリング関数３１８は、ターゲットアレイ座標（ｘ１，ｙ１）における既知の基本ピクセル値に従って、中間ソースピクセル値Ρα（ｘｎ，ｙｎ）をスケーリングするようにしてもよい。
【００５０】
たとえば、デモザイク処理画像１２００における座標（４，２）において、基本ピクセル値はＰｇ（４，２）であり、最も中間の隣接ピクセルは、アレイ座標（４，４）に存在していてもよい。重みｗｒ（ｘ，ｙ）および／またはｗｂ（ｘ，ｙ）の合計Σが閾値τを超えない場合、画像充填器３２９は、倍率κｇ＝（Ｐｇ（４，２）＋ｃｋ）／（Ｐｇ（４，４）＋ｃｋ）を乗じたｐｒ（４，４）に等しいものとしてＶｒ（４，２）を設定し、倍率κｂ＝（Ｐｂ（４，２）＋ｃｋ）／（Ｐｂ（４，４）＋ｃｋ）を乗じたｐｂ（４，４）に等しいものとしてＶｂ（４，２）を設定するようにしてもよい。
【００５１】
本明細書に開示の実施形態では、ピクセル値の中立性を定量化する１つまたは複数の基準を採用するようにしてもよい。たとえば、座標（ｘ，ｙ）におけるピクセル値の中立性の基準としては、３つのピクセル値Ρｒ，ｇ，ｂ（ｘ，ｙ）の平均の標準偏差または分散が挙げられる。基準としては、Ρｒ，ｇ，ｂ（ｘ，ｙ）の飽和が挙げられ、中立性は飽和と逆相関する。飽和は、たとえば数量（１−ｍｉｎ（Ρｒ，Ρｇ，Ρｂ）／Υ）により表現される通りであり、相対輝度Υ＝（ｃｒΡｒ＋  ｃｇΡｇ＋  ｃｂΡｂ）およびｃｒ＋ｃｇ＋ｃｂ＝１である。係数ｃｒ、ｃｇ、およびｃｂはそれぞれ、たとえば０．３、０．６、および０．１である。また、飽和は、ＨＳＬまたはＨＳＶ等、色空間の飽和の定義に従って、ピクセル値トリプレットΡｒ，ｇ，ｂ（ｘ，ｙ）から定量化されるようになっていてもよい。
【００５２】
図１３は、画像センサにより取り込まれた画像をデモザイク処理する方法１３００を示したフローチャートである。画像センサは、複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを含む。複数のセンサピクセルは、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む。
【００５３】
方法１３００は、たとえば画像デモザイク処理装置３００の１つまたは複数の態様において実装される。たとえば、方法１３００は、ソフトウェア３２０のコンピュータ可読命令を実行するマイクロプロセッサ３０２により実装される。方法１３００は、ステップ１３１０、１３２０、１３３０、１３４０、１３５０、１３６０、１３７０、および１３８０のうちの少なくとも１つを含む。
【００５４】
ステップ１３１０は、隣接基本ピクセル値から補間された複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２および第３のアレイ座標それぞれを含む第１の座標マッピングを生成するステップを含む。隣接基本ピクセル値は、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの複数の一部分のピクセル値である。ステップ１３１０の一例において、補間器３２１は、基本ピクセル値３１１（１）から、補間ピクセル値３３２（１）を含む座標マッピング３３１（１）を生成する。赤色チャンネル２１０（図２Ｂ）は、座標マッピング３３１（１）の例である。
【００５５】
ステップ１３２０は、複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第１の信頼値のそれぞれを演算するステップを含む。複数の第１の信頼値はそれぞれ、複数の第２または第３のアレイ座標のいずれかのアレイ座標に対応する。ステップ１３２０の一例において、信頼評価器３２３は、基本ピクセル値３１１（１）の補間ピクセル値３３２（１）および隣接ピクセル値から信頼値３３３（１）を演算する。信頼値４１１（図４）は、信頼値３３３（１）の例である。
【００５６】
ステップ１３３０は、閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップを含む。ステップ１３３０の一例において、閾値化器３２５は、閾値化マッピング７３５（図７）を一例とする閾値化マッピング３３５（１）を生成する。
【００５７】
ステップ１３４０は、複数の第２の一部分のセンサピクセルに対してステップ１３１０、１３２０、および１３３０を繰り返すことにより、第２の閾値化マッピングを生成するステップを含む。ステップ１３１０の一例において、ステップ１３４０において実行される通り、補間器３２１は、基本ピクセル値３１１（２）から、補間ピクセル値３３２（２）を含む座標マッピング３３１（２）を生成する。緑色チャンネル２２０（図２Ｃ）は、座標マッピング３３１（２）の一例である。ステップ１３２０の一例において、ステップ１３４０において実行される通り、信頼評価器３２３は、基本ピクセル値３１１（２）の補間ピクセル値３３２（２）および隣接ピクセル値から信頼値３３３（２）を演算する。信頼値５１１（図５）は、信頼値３３３（２）の例である。ステップ１３３０の一例において、ステップ１３４０において実行される通り、閾値化器３２５は、閾値化マッピング８３５（図８）を一例とする閾値化マッピング３３５（２）を生成する。
【００５８】
ステップ１３５０は、複数の第２の一部分のセンサピクセルに対してステップ１３１０、１３２０、および１３３０を繰り返すことにより、第３の閾値化マッピングを生成するステップを含む。ステップ１３１０の一例において、ステップ１３５０において実行される通り、補間器３２１は、基本ピクセル値３１１（３）から、補間ピクセル値３３２（３）を含む座標マッピング３３１（３）を生成する。青色チャンネル２３０（図２Ｄ）は、座標マッピング３３１（３）の一例である。ステップ１３２０の一例において、ステップ１３４０において実行される通り、信頼評価器３２３は、基本ピクセル値３１１（３）の補間ピクセル値３３２（３）および隣接ピクセル値から信頼値３３３（３）を演算する。信頼値６１１（図６）は、信頼値３３３（３）の例である。ステップ１３３０の一例において、ステップ１３４０において実行される通り、閾値化器３２５は、閾値化マッピング９３５（図９）を一例とする閾値化マッピング３３５（３）を生成する。
【００５９】
ステップ１３６０は、第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップを含む。高信頼アレイ座標として決定されない複数のアレイ座標のうちの残りのアレイ座標は、複数の低信頼アレイ座標である。ステップ１３６０の一例において、結合演算器３２７は、閾値化器３３５それぞれに含まれる座標マッピング３３１のアレイ座標から高信頼アレイ座標３３７Ｈを決定する。残りの座標は、低信頼アレイ座標３３７Ｌである。高信頼アレイ座標１０３７Ｈおよび低信頼アレイ座標１０３７Ｌ（図１０）は、それぞれ高信頼アレイ座標３３７Ｈおよび低信頼アレイ座標３３７Ｌの例である。
【００６０】
ステップ１３７０は、複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップを含む。ステップ１３７０の一例において、画像生成器３２８は、洗練された画像１１００（図１１）を一例とする洗練された画像３３８を構成する。
【００６１】
ステップ１３８０は、複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップを含む。ステップ１３８０の一例において、画像充填器３２９は、洗練された画像３３８を充填して、デモザイク処理画像１２００を一例とするデモザイク処理画像３３９を生成する。デモザイク処理画像１２００は、低信頼アレイ座標１０３７Ｌにおいて割り当てピクセル値Ｖαを含む。
【００６２】
図１４は、方法１３００のステップ１３７０により形成された洗練された画像を充填する方法１４００を示したフローチャートである。ステップ１３８０は、ステップ１４１０ならびにステップ１４２０および１４３０の少なくとも一方を含む方法１４００を実装していてもよい。
【００６３】
ステップ１４１０は、複数の低信頼アレイ座標ごとに、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標のそれぞれに対応する複数の重みを演算するステップを含む。複数の重みそれぞれは、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値の類似性の少なくとも一方により決定される。ステップ１４１０の一例においては、低信頼アレイ座標１０３７Ｌ（図１０）ごとに、画像充填器３２９が重みｗα（ｘ，ｙ）を演算する。
【００６４】
ステップ１４２０は、１つの低信頼アレイ座標と関連付けられた複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定するステップを含む。ステップ１４２０の一例において、画像充填器３２９は、倍率κｇ＝（Ｐｇ（４，２）＋ｃｋ）／（Ｐｇ（４，４）＋ｃｋ）を乗じたｐｒ（４，４）に等しいものとしてＶｒ（４，２）を設定し、倍率κｂ＝（Ｐｂ（４，２）＋ｃｋ）／（Ｐｂ（４，４）＋ｃｋ）を乗じたｐｂ（４，４）に等しいものとしてＶｂ（４，２）を設定する。
【００６５】
ステップ１４３０は、１つの低信頼アレイ座標と関連付けられた複数の重みの合計が所定の重み閾値を超える場合に、ピクセル値の加重平均として割り当てピクセル値を演算するステップを含む。ステップ１４３０の一例において、画像充填器３２９は、デモザイク処理画像１２００（図１２）の割り当てピクセル値Ｖα（ｘ１，ｙ１）を演算する。
【００６６】
特徴の組み合わせ
上述の特徴および以下に請求される特徴は、本発明の範囲から逸脱することなく、様々に組み合わせ可能である。以下の例は、いくつかの考え得る非限定的な組み合わせを示す。
【００６７】
（Ａ１）は、画像センサにより取り込まれた画像をデモザイク処理する方法を示す。画像センサは、複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する。複数のセンサピクセルは、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む。この方法は、演算、生成、決定、構成、および充填のステップを含む。
【００６８】
演算ステップは、複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップを含む。複数の第１の補間ピクセル値は、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間される。
【００６９】
生成ステップは、閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップを含む。第１の座標マッピングは、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む。
【００７０】
また、この方法は、複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップを含む。また、この方法は、複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップを含む。
【００７１】
決定ステップは、第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップを含む。構成ステップは、複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップを含む。充填ステップは、複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップを含む。
【００７２】
（Ａ２）（Ａ１）により示される方法においては、複数の低信頼アレイ座標がそれぞれ、第１、第２、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、充填するステップが、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する複数の低信頼アレイ座標ごとに、（ａ）複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、複数の重みがそれぞれ、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値間の差分の少なくとも一方により決定される、複数の重みを演算するステップと、（ｂ）合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、を含んでいてもよい。
【００７３】
（Ａ３）（Ａ２）により示される方法においては、複数の重みを演算するステップにおいて、複数の重みがそれぞれ、距離の単調減少関数である近接性基準の関数であってもよい。
【００７４】
（Ａ４）（Ａ２）および（Ａ３）の一方により示されるいずれかの方法においては、複数の重みを演算するステップにおいて、複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数であってもよい。
【００７５】
（Ａ５）（Ａ１）〜（Ａ４）のうちの１つにより示されるいずれかの方法においては、演算するステップにおいて、複数の第１の信頼値がそれぞれ、隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づいていてもよい。
【００７６】
（Ａ６）（Ａ１）〜（Ａ５）のうちの１つにより示されるいずれかの方法は、第１の座標マッピングを生成するステップをさらに含んでいてもよい。
【００７７】
（Ａ７）（Ａ１）〜（Ａ６）のうちの１つにより示されるいずれかの方法は、低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を複数の高信頼アレイ座標が含む場合に、隔離高信頼アレイ座標を低信頼アレイ座標として指定するステップをさらに含んでいてもよい。
【００７８】
（Ａ８）（Ａ１）〜（Ａ７）のうちの１つにより示されるいずれかの方法は、低信頼アレイ座標の基本ピクセル値が第１のカラーフィルタと関連付けられた場合に、（ａ）複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、複数の倍率がそれぞれ、第１のカラーフィルタと関連付けられた高信頼アレイ座標におけるピクセル値に対する低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、（ｂ）合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つおよび複数の倍率のうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、をさらに含んでいてもよい。
【００７９】
（Ａ９）（Ａ１）〜（Ａ８）のうちの１つにより示されるいずれかの方法は、複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定するステップをさらに含んでいてもよい。
【００８０】
（Ａ１０）（Ａ１）〜（Ａ９）のうちの１つにより示されるいずれかの方法は、複数のセンサピクセルがそれぞれ、入射するシーンからの各光強度に対応するピクセル電荷を有する場合に、アナログ−デジタルコンバータによって、各ピクセル電荷を基本ピクセル値のそれぞれへと変換し、生成、演算、決定、構成、および充填のステップを実行するように構成されたマイクロプロセッサに通信結合されたメモリに基本ピクセル値を記憶することにより、画像を取り込むステップをさらに含んでいてもよい。
【００８１】
（Ｂ１）画像デモザイク処理装置は、メモリおよびマイクロプロセッサを備え、画像センサにより取り込まれた画像を処理するように構成される。メモリは、持続性コンピュータ可読命令を記憶するとともに、画像を記憶するように構成される。マイクロプロセッサは、命令を実行して、方法（Ａ１）〜（Ａ１０）のいずれかを実行するように構成される。
【００８２】
上記デモザイク処理方法およびデモザイク処理システムにおいては、本発明の範囲から逸脱することなく、変更が可能である。したがって、上記説明に含まれる内容または添付の図面に示される内容については、例示として解釈され、何ら限定的な意味で解釈されるべきではないことに留意されたい。本明細書においては、別段の指定のない限り、形容詞「例示的な（ｅｘｅｍｐｌａｒｙ）」は、一例、事例、または実例として機能することを意味する。以下の特許請求の範囲は、本明細書に記載のすべての一般的および具体的特徴のほか、表現の便宜上、両者間に含まれると考えられる本デモザイク処理方法およびシステムの範囲のすべての記述内容を網羅することが意図される。
【００８３】
以下に列挙される例示的な実施形態（ＥＥＥ）から、本発明の種々態様が明らかとなり得る。
【００８４】
１．複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像をデモザイク処理する方法であって、複数のセンサピクセルが、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含み、
複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、複数の第１の補間ピクセル値が、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップと、
複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップと、
を含む、方法。
【００８５】
２．複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、充填するステップが、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する複数の低信頼アレイ座標ごとに、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、複数の重みがそれぞれ、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値間の差分の少なくとも一方により決定される、複数の重みを演算するステップと、
合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、
を含む、ＥＥＥ１に記載の方法。
【００８６】
３．複数の重みを演算するステップにおいて、複数の重みがそれぞれ、距離の単調減少関数である近接性基準の関数である、ＥＥＥ２に記載の方法。
【００８７】
４．複数の重みを演算するステップにおいて、複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数である、ＥＥＥ２に記載の方法。
【００８８】
５．演算するステップにおいて、複数の第１の信頼値がそれぞれ、隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、ＥＥＥ１に記載の方法。
【００８９】
６．第１の座標マッピングを生成するステップをさらに含む、ＥＥＥ１に記載の方法。
【００９０】
７．低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を複数の高信頼アレイ座標が含む場合に、隔離高信頼アレイ座標を低信頼アレイ座標として指定するステップをさらに含む、ＥＥＥ１に記載の方法。
【００９１】
８．低信頼アレイ座標の基本ピクセル値が、第１のカラーフィルタと関連付けられており、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、複数の倍率がそれぞれ、第１のカラーフィルタと関連付けられた高信頼アレイ座標におけるピクセル値に対する低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、
合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つおよび複数の倍率のうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、
をさらに含む、ＥＥＥ２に記載の方法。
【００９２】
９．複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定する、ＥＥＥ２に記載の方法。
【００９３】
１０．複数のセンサピクセルがそれぞれ、入射するシーンからの各光強度に対応するピクセル電荷を有しており、
アナログ−デジタルコンバータによって、各ピクセル電荷を基本ピクセル値のそれぞれへと変換することと、
生成、演算、決定、構成、および充填のステップを実行するように構成されたマイクロプロセッサに通信結合されたメモリに基本ピクセル値を記憶することと、
によって、画像を取り込むステップをさらに含む、ＥＥＥ１に記載の方法。
【００９４】
１１．複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像を処理する画像デモザイク処理装置であり、複数のセンサピクセルが、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む、画像デモザイク処理装置であって、
持続性コンピュータ可読命令を記憶するとともに、画像を記憶するように構成されたメモリと、
命令を実行することによって、
複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、複数の第１の補間ピクセル値が、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップと、
複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップと、
を行うように構成されたマイクロプロセッサと、
を備えた、画像デモザイク処理装置。
【００９５】
１２．複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、マイクロプロセッサが、充填するステップにおいて、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する複数の低信頼アレイ座標ごとに、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、複数の重みがそれぞれ、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値の類似性の少なくとも一方により決定される、複数の重みを演算するステップと、
合計が所定の重み閾値を超える場合に、複数の一部分の高信頼アレイ座標の各ピクセル値の加重平均として、割り当てピクセル値を演算するステップと、
を行うようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
【００９６】
１３．演算するステップにおいて、複数の第１の信頼値がそれぞれ、隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、ＥＥＥ１１に記載の画像デモザイク処理装置。
【００９７】
１４．複数の重みがそれぞれ、距離の単調減少関数である近接性基準の関数である、ＥＥＥ１１に記載の画像デモザイク処理装置。
【００９８】
１５．複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数である、ＥＥＥ１１に記載の画像デモザイク処理装置。
【００９９】
１６．マイクロプロセッサが、第１の座標マッピングを生成するようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
【０１００】
１７．マイクロプロセッサが、低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を複数の高信頼アレイ座標が含む場合に、隔離高信頼アレイ座標を低信頼アレイ座標として指定するようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
【０１０１】
１８．低信頼アレイ座標の基本ピクセル値が、第１のカラーフィルタと関連付けられており、マイクロプロセッサが、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、複数の倍率がそれぞれ、第１のカラーフィルタと関連付けられた高信頼アレイ座標におけるピクセル値に対する低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、
合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つおよび複数の倍率のうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、
を行うようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
【０１０２】
１９．マイクロプロセッサが、複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定するようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
【０１０３】
２０．複数のセンサピクセルがそれぞれ、入射するシーンからの各光強度に対応するピクセル電荷を有しており、マイクロプロセッサが、画像を取り込む際に、
アナログ−デジタルコンバータによって、各ピクセル電荷を基本ピクセル値のそれぞれへと変換するステップと、
基本ピクセル値をメモリに記憶するステップと、
を行うようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
【０１０４】
２１．画像デモザイク処理装置の１つまたは複数のマイクロプロセッサにより実行された場合に、ＥＥＥ１〜ＥＥＥ１０のいずれか一項に記載の方法を画像デモザイク処理装置に実行させるコンピュータ可読命令を含むコンピュータプログラム製品。
【０１０５】
２２．ＥＥＥ２１に記載のコンピュータプログラム製品が記憶されたコンピュータ可読媒体。
【図１】
2021507643.tif 000005
【図２Ａ】
2021507643.tif 000006
【図２Ｂ−２Ｄ】
2021507643.tif 000007
【図２Ｅ】
2021507643.tif 000008
【図３】
2021507643.tif 000009
【図４】
2021507643.tif 000010
【図５】
2021507643.tif 000011
【図６】
2021507643.tif 000012
【図７】
2021507643.tif 000013
【図８】
2021507643.tif 000014
【図９】
2021507643.tif 000015
【図１０】
2021507643.tif 000016
【図１１】
2021507643.tif 000017
【図１２】
2021507643.tif 000018
【図１３】
2021507643.tif 000019
【図１４】
2021507643.tif 000020
【国際調査報告】
2021507643.tif 000021
2021507643.tif 000022