(57)【要約】  所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成することを含む。
2010511350.tif 000002
【特許請求の範囲】
【請求項１】
所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、
（ａ）  所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして
（ｂ）  該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成すること
を含んで成る。
【請求項２】
ステップ（ｂ）が、該第１カラー画像の画素値と該パンクロマティック画像の画素値との間の色差を使用することを含む請求項１に記載の方法。
【請求項３】
該第１デジタル・カラー画像に追加される各追加のカラー画素のカラー画素値を割り出すために、少なくとも２つのパンクロマティック画素の値が使用される請求項１に記載の方法。
【請求項４】
該パンクロマティック画素の値のうちの少なくとも１つが、該追加のカラー画素の位置と一致する請求項３に記載の方法。
【請求項５】
少なくとも２つのパンクロマティック画素値と近傍カラー画素の値との間の差を組み合わせることにより、該追加の画素を形成する請求項３に記載の方法。
【請求項６】
シーンの、キャプチャされたパンクロマティック画像とキャプチャされたカラー画像とを生成し、そして該キャプチャされたパンクロマティック画像よりも高い解像度を有する第１パンクロマティック画像を生成するために、該キャプチャされたパンクロマティック画像を補間する、カラー画素とパンクロマティック画素とを有する画像センサをさらに含む請求項１に記載の方法。
【請求項７】
シーンの、キャプチャされたパンクロマティック画像とキャプチャされたカラー画像とを生成し、そして該キャプチャされたカラー画像よりも高い解像度を有する第１カラー画像を生成するために、該キャプチャされたカラー画像を補間する、カラー画素とパンクロマティック画素とを有する画像センサを含む請求項１に記載の方法。
【請求項８】
所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、
（ａ）  少なくとも２つのカラー光応答に対応するパンクロマティック画素とカラー画素とを有する画像センサを使用して、シーンの画像をキャプチャし、所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして
（ｂ）  該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成することを
含んで成る。
【請求項９】
ステップ（ｂ）が、該第１カラー画像の画素値と該パンクロマティック画像の画素値との間の色差を使用することを含む請求項８に記載の方法。
【請求項１０】
該第１デジタル・カラー画像に追加される各追加のカラー画素のカラー画素値を割り出すために、少なくとも２つのパンクロマティック画素の値が使用される請求項８に記載の方法。
【請求項１１】
該パンクロマティック画素の値のうちの少なくとも１つが、該追加のカラー画素の位置と一致する請求項８に記載の方法。
【請求項１２】
少なくとも２つのパンクロマティック画素値と近傍カラー画素の値との間の差を組み合わせることにより、該追加の画素を形成する請求項８に記載の方法。
【請求項１３】
所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、
（ａ）  所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；
（ｂ）  該第１パンクロマティック画素値を使用することにより、分類子を提供すること；そして
（ｃ）  該分類子と該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成すること
を含んで成る。
【請求項１４】
提供された色差画像よりも高い解像度を有するデジタル色差画像を形成する方法であって、当該方法は、
（ａ）  所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、少なくとも２つの異なる色差を有する低解像度色差画像とを用意すること、該色差画像は、該所望の解像度よりも低い解像度を有する、；
（ｂ）  該第１パンクロマティック画素値を使用することにより、分類子を提供すること；そして
（ｃ）  該分類子と該低解像度色差画像からの色差値とパンクロマティック画素値とを使用することにより追加の色差値を用意すること、そして該追加の色差値と該色差画像とを組み合わせることにより、より高い解像度を有するデジタル色差画像を生成すること
を含んで成る。
【請求項１５】
最大解像度カラー画像を形成する方法であって、当該方法は、
（ａ）  元のキャプチャされたカラー画像及び該パンクロマティック画像の画素値に応答して請求項１４に記載の低解像度色差画像を形成すること；
（ｂ）  請求項１４に記載の方法を用いることにより、高解像度色差画像を生成すること；そして
（ｃ）  該パンクロマティック画素値と該高解像度色差画像とを使用することにより、最大解像度カラー画像を提供すること
を含んで成る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パンクロマティック画像と、所望の解像度よりも低い解像度を有するカラー画像とから、所望の解像度を有するカラー画像を形成することに関する。
【背景技術】
【０００２】
ビデオカメラ及びデジタル・スチルカメラは一般に、シーンを記録するために、カラーフィルタ・アレイを有する単独の画像センサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる疎密度の単一チャネル画像で始まる。これに続く、近傍画素値の補間が、完全な３チャネル・フルカラー画像の再構成を可能にする。１つの一般的なアプローチは、輝度色チャネル、例えば「グリーン」を直接的に検出するか又は合成し、次いで、初期ステップとして最大解像度(Full-Resolution)輝度画像を生成することである。この輝度チャネルは次いで、残りの色チャネルを補間するために種々の方法で使用される。単純な双線形補間アプローチが、米国特許第５，５０６，６１９号明細書（Adams他）及び同第６，６５４，４９２号明細書（Sasai)に開示される。輝度勾配及びラプラシアンを使用する適応アプローチが、米国特許第５，５０６，６１９号明細書並びに同第５，６２９，７３４号明細書（Hamilton他）においても教示されている。米国特許出願公開第２００２／０１８６３０９号明細書（keshet他）は、異なる種類の適応補間において輝度チャネルの双方向フィルタリングを用いることを明らかにしている。最後に、米国特許出願公開第２００３／００５３６８４号明細書（Acharya）には、さらに別の適応補間法において輝度チャネル上にメディアンフィルタ・バンクを使用することが記載されている。
【０００３】
低光量撮像状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマティックである状態で有することが有利である。これらのパンクロマティック画素は、キャプチャ・システムの最大感光性能力を有する。パンクロマティック画素を採用することは、キャプチャ・システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、撮像装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、キャプチャ装置の低光量性能全体を制限することである。
【０００４】
より多くの画素がカラーフィルタ・アレイにおいて最大感光性を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。そのシーンからのカラー情報をキャプチャするのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに対して応答しない、又はこれを保護しない、単純な線形補間技術を用いることを教示する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、パンクロマティック画素及びカラー画素を有するデジタル画像から、所望の解像度を有するデジタル・カラー画像を生成することである。
【課題を解決するための手段】
【０００６】
この目的は、所望の解像度を有するデジタル・カラー画像を形成する方法であって、
（ａ）  所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして
（ｂ）  該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成することを含んで成る方法によって達成される。
【発明の効果】
【０００７】
本発明の特徴は、パンクロマティック画素及びカラー画素を有するセンサを用いて低光量条件下で画像をキャプチャすることができ、また、処理を施すことにより、パンクロマティック画素及びカラー画素から形成されたデジタル・カラー画像内に所望の解像度が生成されることである。
【０００８】
本発明は、上記方法が、改善された低光量感受性及び改善された色空間分解忠実度の両方を提供するのを可能にするために、パンクロマティック画素とカラー画素とを好適に複合することによって、カラーフィルタ・アレイを利用する。上記方法は、パンクロマティック空間ディテール及びカラー空間ディテールを維持・強化し、そしてフルカラー最大解像度画像を生成する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す斜視図である。
【図２】図２は、本発明の好ましい態様を示すブロック・ダイヤグラムである。
【図３】図３は、図２のブロック２０６をより詳細に示すブロック・ダイヤグラムである。
【図４】図４は、本発明の別の態様としての図２のブロック２０６を、より詳細に示すブロック・ダイヤグラムである。
【図５】図５は、本発明の別の態様としての図２のブロック２０６を、より詳細に示すブロック・ダイヤグラムである。
【図６】図６は、本発明の別の態様としての図２のブロック２０６を、より詳細に示すブロック・ダイヤグラムである。
【図７】図７は、図２のブロック２０６において使用される画素領域を示す図である。
【図８】図８は、図３のブロック２１０において使用される画素領域を示す図である。
【図９】図９は、図４のブロック２２０において使用される画素領域を示す図である。
【発明を実施するための形態】
【００１０】
以下に、通常はソフトウェアプログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の観点、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当該技術分野の通常の技術範囲に含まれる。
【００１１】
さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリー（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。
【００１２】
本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナルのフィルム、例えばハロゲン化銀塩フィルムを走査することによって）デジタル化されることに留意するのも有益である。
【００１３】
図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。
【００１４】
マイクロプロセッサをベースとするユニット１１２にソフトウェアプログラム及びその他の情報を入力する手段を提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェアプログラムを含むコンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを含んでもよく、これはソフトウェアプログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入することもできる。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェアプログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。
【００１５】
ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られている、ＰＣカード１３０内に電子的に具体化されたデジタル化画像を含有するＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ（図示せず）又はスキャナ(図示せず)から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することもできる。
【００１６】
本発明によれば、疎密度画像を補間するために、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像に適用することができる。
【００１７】
図２は、好ましい態様の高レベルのダイヤグラムである。デジタルカメラ１３４は、デジタルＲＧＢＰ  ＣＦＡ画像又はＲＧＢＰ  ＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢ  ＣＦＡ画像２００から最大解像度パンクロマティック画像２０４を生成する。画像処理鎖内のこの時点では、各カラー画素位置は、関連付けられたパンクロマティック値と、レッド、グリーン、又はブルー値とを有している。ＲＧＢ  ＣＦＡ画像２００及び最大解像度パンクロマティック画像２０４から、ＲＧＢ  ＣＦＡ画像補間ブロック２０６が続いて、最大解像度フルカラー画像２０８を生成する。
【００１８】
図２において、パンクロマティック画像補間ブロック２０２は、当業者に知られた任意の好適な方法で実施することができる。ここで２つの例を挙げる。図８に示すように、画素Ｘ5のパンクロマティック値を推定するための１つの方法は、周りの６つのパンクロマティック値を単純に平均することである。すなわち：
Ｘ5＝（Ｐ1＋Ｐ2＋Ｐ3＋Ｐ7＋Ｐ8＋Ｐ9）／６
【００１９】
このアプローチにおける画素値に対する交互の重み付けも当業者に知られている。一例としては、
Ｘ5＝（Ｐ1＋２Ｐ2＋Ｐ3＋Ｐ7＋２Ｐ8＋Ｐ9）／８
【００２０】
或いは、方向性勾配の絶対値（絶対方向性勾配）を先ず計算することにより、適応アプローチを用いることもできる。
Ｂ5＝｜Ｐ1−Ｐ9｜
Ｖ5＝｜Ｐ2−Ｐ8｜
Ｓ5＝｜Ｐ3−Ｐ7｜
【００２１】
Ｘ5の値は今や、３つの２点平均のうちの１つによって割り出される。
ＢＸ5＝（Ｐ1＋Ｐ9）／２
ＶＸ5＝（Ｐ2＋Ｐ8）／２
ＳＸ5＝（Ｐ3＋Ｐ7）／２
【００２２】
絶対方向勾配集合の最小値と関連する２点平均は、Ｘ5を計算するために使用される。例えばＶ5≦Ｂ5且つＶ5≦Ｓ5であるならば、Ｘ5＝ＶＸ5である。
【００２３】
図３は、好ましい態様のブロック２０６（図２）をより詳細に示す図である。パンクロマティック補正生成ブロック２１０は、最大解像度パンクロマティック画像２０４（図２）を取得し、そしてパンクロマティック補正２１４を生成する。低解像度ＲＧＢ  ＣＦＡ画像補間ブロック２１２は、ＲＧＢＰ  ＣＦＡ画像２００（図２）を取得し、そして低解像度フルカラー画像２１６を生成する。画像組み合わせブロック２１８は、パンクロマティック補正２１４と低解像度フルカラー画像２１６とを組み合わせることにより、最大解像度フルカラー画像２０８（図２）を生成する。
【００２４】
図３において、パンクロマティック補正生成ブロック２０６は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、画素Ｐ5のパンクロマティック補正値ＰCを推定するための１つの方法は、中心画素値と、近傍のレッド画素と一致する画素値とを用いて、２次元ラプラシアンを計算することである。すなわち：
ＰC＝（４Ｐ5−Ｐ1−Ｐ3−Ｐ7−Ｐ9）／４
【００２５】
再び図３において、低解像度ＲＧＢ  ＣＦＡ画像補間ブロック２１２は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、画素Ｐ5の低解像度レッド画素値ＲLを計算するための１つの方法は、近傍のレッド画素の４点平均を計算することである。すなわち：
ＲL＝（Ｒ1＋Ｒ3＋Ｒ7＋Ｒ9）／４
【００２６】
再び図３において、画像組み合わせブロック２１８は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、画素Ｐ5の最大解像度レッド画素値ＲFを計算するための１つの方法は、低解像度レッド画素値と、スケーリングされた形のパンクロマティック補正値とを合計することである。
【００２７】
すなわち：
ＲF＝ＲL＋ｋＰC
上記式中、スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。異なる色、例えばグリーン及びブルーに関しても、同様の計算が行われる。この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
【００２８】
図４は、別の態様のブロック２０６（図２）をより詳細に示す図である。色差ＣＦＡ画像生成ブロック２２０は、最大解像度パンクロマティック画像２０４（図２）及びＲＧＢＰ  ＣＦＡ画像２００（図２）を取得し、そして色差ＣＦＡ画像２２２を生成する。色差ＣＦＡ画像補間ブロック２２４は、色差ＣＦＡ画像２２２を取得し、そして最大解像度色差画像２２６を生成する。最大解像度フルカラー画像生成ブロック２２８は、最大解像度色差画像２２６と最大解像度パンクロマティック画像２０４（図２）とを組み合わせることにより、最大解像度フルカラー画像２０８（図２）を生成する。
【００２９】
図４において、色差ＣＦＡ画像生成ブロック２２０は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、１つの方法は、カラー値とパンクロマティック値との差を各カラー画素位置で計算することである。図７において、下記計算が実施されることになる：
【００３０】
ＣR1＝Ｒ1−Ｐ1
ＣR3＝Ｒ3−Ｐ3
ＣR7＝Ｒ7−Ｐ7
ＣR9＝Ｒ9−Ｐ9
【００３１】
値ＣR1、ＣR3、ＣR7、及びＣR9は、図９に示されているような、結果として生じる色差である。この動作は、画像内のカラー画素毎に行われる。結果として生じる色差ＣＦＡ画素２２２（図４）は、ＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
【００３２】
図４に戻ると、色差ＣＦＡ画像２２４は、当業者に知られた任意の好適な方法で実施することができる。図９を参照すると、１つの方法は、近傍色差値の平均を計算することにより、画素Ｐ5に対応する色差ＣR5を生成することである：
ＣR5＝（ＣR1＋ＣR3＋ＣR7＋ＣR9）／４
【００３３】
この動作は、画像内の画素毎に、そして色差チャネルＣR、ＣG、及びＣB毎に行われる。結果として生じる最大解像度色差画像２２６（図４）は、画素位置毎のＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
【００３４】
図４に戻ると、最大解像度フルカラー画像生成ブロック２２８は、当業者に知られた任意の好適な方法で実施することができる。１つの方法は、各画素位置における色差値とパンクロマティック値との和を計算することである。所与の画素が色差値ＣR、ＣG、及びＣB、並びにパンクロマティック値Ｐを有する場合、相当するカラー値Ｒ、Ｇ及びＢは次のようになる：
【００３５】
Ｒ＝ＣR＋Ｐ
Ｇ＝ＣG＋Ｐ
Ｂ＝ＣB＋Ｐ
【００３６】
この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
【００３７】
図５は、別の態様のブロック２０６（図２）をより詳細に示す図である。パンクロマティック分類子生成ブロック２３０は、最大解像度パンクロマティック画像２０４（図２）を取得し、そしてパンクロマティック分類子２３２を生成する。パンクロマティック分類子分析ブロック２３４は、パンクロマティック分類子２３２を取得し、そしてパンクロマティック分類決定２３６を生成する。ＲＧＢ  ＣＦＡ画像補間予測ブロック２３８が、ＲＧＢＰ  ＣＦＡ画像２００（図２）上で動作するためにパンクロマティック分類決定２３６を使用することにより、最大解像度フルカラー画像２０８（図２）を生成する。
【００３８】
図５において、パンクロマティック分類子生成ブロック２３０は、当業者に知られた任意の好適な方法で実施することができる。ここで３つの例を挙げる。第１の例は、方向性勾配及びラプラシアンを使用する。図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
【００３９】
下記式：
ＧS5＝｜Ｐ3−Ｐ7｜
ＧB5＝｜Ｐ1−Ｐ9｜
ＬS5＝｜２Ｐ5−Ｐ3−Ｐ7｜
ＬB5＝｜２Ｐ5−Ｐ1−Ｐ9｜
Ｓ5＝ａＧS5＋ｂＬS5
Ｂ5＝ａＧB5＋ｂＬB5
を使用して計算することができる。
【００４０】
ＧS5は画素Ｐ5に対するスラッシュ勾配であり、ＧB5は画素Ｐ5に対するバックスラッシュ勾配である。ＬS5は、画素Ｐ5に対するスラッシュ・ラプラシアンであり、ＬB5は、画素Ｐ5に対するバックスラッシュ・ラプラシアンである。係数ａ及びｂは、それぞれの勾配成分及びラプラシアン成分のうちのどれぐらい多くの成分が最終分類子計算に参加するかを調整するために使用される。ａ及びｂの典型的な値は、勾配専用分類子の場合ａ＝１、ｂ＝０であり、ラプラシアン専用分類子の場合ａ＝０、ｂ＝１であり、そして組み合わせ勾配・ラプラシアン分類子の場合ａ＝１、ｂ＝１である。別の例は、方向性メディアンフィルタを使用する。再び図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
【００４１】
下記式：
ＭS5＝メディアン（Ｐ3、Ｐ5、Ｐ7）
ＭB5＝メディアン（Ｐ1、Ｐ5、Ｐ9）
Ｓ5＝｜ＭS5−Ｐ5｜
Ｂ5＝｜ＭB5−Ｐ5｜
を使用して計算することができる。
【００４２】
ＭS5は、３つのパンクロマティック値Ｐ3、Ｐ5、及びＰ7の統計メディアンである。ＭB5は、３つのパンクロマティック値Ｐ1、Ｐ5、及びＰ9の統計メディアンである。第３の例は、双方向フィルタリングのサブクラスであるシグマ・フィルタリングを使用する。この場合、我々は、画素Ｒ1、Ｒ3、Ｒ7、及びＲ9に対応する４つの分類子ｄ1、ｄ3、ｄ7、及びｄ9：
【００４３】
ｄ1＝｜Ｐ1−Ｐ5｜
ｄ3＝｜Ｐ3−Ｐ5｜
ｄ7＝｜Ｐ7−Ｐ5｜
ｄ9＝｜Ｐ9−Ｐ5｜
を形成する。
【００４４】
図５において、パンクロマティック分類子分析ブロック２３４は、当業者に知られた任意の好適な方法で実施することができる。前段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類子ブロック２３４の分析は、２つの値Ｓ5及びＢ5のうちの小さい方を割り出すことにより、パンクロマティック分類決定２３６を生成することである。Ｓ5≦Ｂ5の場合、パンクロマティック分類決定はスラッシュである。そうでない場合、パンクロマティック分類決定はバックスラッシュである。シグマ・フィルタの場合、パンクロマティック分類子ブロック２３４の分析は、
【００４５】
下記式：
ｄ1＜ｔならばｃ1＝１、そうでなければｃ1＝０
ｄ3＜ｔならばｃ3＝１、そうでなければｃ3＝０
ｄ7＜ｔならばｃ7＝１、そうでなければｃ7＝０
ｄ9＜ｔならばｃ9＝１、そうでなければｃ9＝０
を使用して４つの係数ｃ1、ｃ3、ｃ7及びｃ9の値を割り出すことにより、パンクロマティック分類決定を生成する。
【００４６】
閾値ｔは、画像キャプチャ装置の固有ノイズの関数である。古典的には、このノイズは、関連する平均値及び標準偏差を有するガウス（正規）分布としてモデル化される。値ｔは典型的には、このノイズ・モデルの標準偏差の１〜３倍の値に設定される。
【００４７】
図５において、ＲＧＢ  ＣＦＡ画像補間ブロック２３８は、当業者に知られた任意の好適な方法で実施することができる。前の２つの段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類決定２３６は、２つの予測値ＲS5及びＲB5：
ＲS5＝（Ｒ3＋Ｒ7）／２＋ｋ（２Ｐ5−Ｐ3−Ｐ7）／２
ＲB5＝（Ｒ1＋Ｒ9）／２＋ｋ（２Ｐ5−Ｐ1−Ｐ9）／２
から選択するために使用される。
【００４８】
スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。パンクロマティック分類決定がスラッシュであるならば、画素Ｐ5に対応するカラー値Ｒ5はＲS5として計算される。そうでなければ、この値はＲB5として計算される。シグマ・フィルタの場合、ｃ1、ｃ3、ｃ7及びｃ9に応答する単一の予測値が計算される。
【００４９】
すなわち：
Ｒ5＝｛（ｃ1Ｒ1＋ｃ3Ｒ3＋ｃ7Ｒ7＋ｃ9Ｒ9）＋ｋ［（ｃ1＋ｃ3＋ｃ7＋ｃ9）Ｐ5−ｃ1Ｐ1−ｃ3Ｐ3−ｃ7Ｐ7−ｃ9Ｐ9］｝／（ｃ1＋ｃ3＋ｃ7＋ｃ9）
上記等式から、我々は、画素Ｐ5に対して分類子決定の係数ｃ1、ｃ3、ｃ7及びｃ9から、そして既存のレッド画素値及びパンクロマティック画素値Ｒ1、Ｒ3、Ｒ7、Ｒ9、Ｐ5、Ｐ1、Ｐ3、Ｐ7、及びＰ9から、レッド画素値Ｒ5を計算することが判る。スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。異なる色、例えばグリーン及びブルーに関しても、同様の計算が行われる。
【００５０】
ｃ1、ｃ3、ｃ7及びｃ9の値の可能な全ての組み合わせを考えると、これは１６の可能な予測子値のうちの１つを選択することになる。この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
【００５１】
図６は、別の態様のブロック２０６（図２）をより詳細に示す図である。色差ＣＦＡ画像生成ブロック２４０は、最大解像度パンクロマティック画像２０４（図２）及びＲＧＢＰ  ＣＦＡ画像２００（図２）を取得し、そして色差ＣＦＡ画像２４２を生成する。パンクロマティック分類子生成２４６は、最大解像度パンクロマティック画像２０４（図２）を取得し、そしてパンクロマティック分類子２４８を生成する。パンクロマティック分類子分析ブロック２５２は、パンクロマティック分類子２４８を取得し、そしてパンクロマティック分類決定２５４を生成する。色差ＣＦＡ画像補間予測ブロック２４４は、色差ＣＦＡ画像２４２上で動作するためにパンクロマティック分類決定２５４を使用することにより、最大解像度色差画像２５０を生成する。最大解像度フルカラー画像生成ブロック２５６は、最大解像度色差画像２５０と最大解像度パンクロマティック画像２０４（図２）とを使用することにより、最大解像度フルカラー画像２０８（図２）を生成する。
【００５２】
図６において、色差ＣＦＡ画像生成ブロック２４０は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、カラー値とパンクロマティック値との差を各カラー画素位置で計算することである。
【００５３】
図７において、下記計算が実施されることになる：
ＣR1＝Ｒ1−Ｐ1
ＣR3＝Ｒ3−Ｐ3
ＣR7＝Ｒ7−Ｐ7
ＣR9＝Ｒ9−Ｐ9
【００５４】
値ＣR1、ＣR3、ＣR7、及びＣR9は、図９に示されているような、結果として生じる色差である。この動作は、画像内のカラー画素毎に行われる。結果として生じる色差ＣＦＡ画素２４２（図６）は、ＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
【００５５】
図６において、パンクロマティック分類子生成ブロック２４６は、当業者に知られた任意の好適な方法で実施することができる。ここで３つの例を挙げる。第１の例は、方向性勾配及びラプラシアンを使用する。図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
【００５６】
下記式：
ＧS5＝｜Ｐ3−Ｐ7｜
ＧB5＝｜Ｐ1−Ｐ9｜
ＬS5＝｜２Ｐ5−Ｐ3−Ｐ7｜
ＬB5＝｜２Ｐ5−Ｐ1−Ｐ9｜
Ｓ5＝ａＧS5＋ｂＬS5
Ｂ5＝ａＧB5＋ｂＬB5
を使用して計算することができる。
【００５７】
ＧS5は画素Ｐ5に対するスラッシュ勾配であり、ＧB5は画素Ｐ5に対するバックスラッシュ勾配である。ＬS5は、画素Ｐ5に対するスラッシュ・ラプラシアンであり、ＬB5は、画素Ｐ5に対するバックスラッシュ・ラプラシアンである。係数ａ及びｂは、それぞれの勾配成分及びラプラシアン成分のうちのどれぐらい多くの成分が最終分類子計算に参加するかを調整するために使用される。ａ及びｂの典型的な値は、勾配専用分類子の場合ａ＝１、ｂ＝０であり、ラプラシアン専用分類子の場合ａ＝０、ｂ＝１であり、そして組み合わせ勾配・ラプラシアン分類子の場合ａ＝１、ｂ＝１である。別の例は、方向性メディアンフィルタを使用する。再び図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
【００５８】
下記式：
ＭS5＝メディアン（Ｐ3、Ｐ5、Ｐ7）
ＭB5＝メディアン（Ｐ1、Ｐ5、Ｐ9）
Ｓ5＝｜ＭS5−Ｐ5｜
Ｂ5＝｜ＭB5−Ｐ5｜
を使用して計算することができる。
【００５９】
ＭS5は、３つのパンクロマティック値Ｐ3、Ｐ5、及びＰ7の統計メディアンである。ＭB5は、３つのパンクロマティック値Ｐ1、Ｐ5、及びＰ9の統計メディアンである。第３の例は、双方向フィルタリングのサブクラスであるシグマ・フィルタリングを使用する。この場合、我々は、画素Ｒ1、Ｒ3、Ｒ7、及びＲ9に対応する４つの分類子ｄ1、ｄ3、ｄ7、及びｄ9：
【００６０】
ｄ1＝｜Ｐ1−Ｐ5｜
ｄ3＝｜Ｐ3−Ｐ5｜
ｄ7＝｜Ｐ7−Ｐ5｜
ｄ9＝｜Ｐ9−Ｐ5｜
を形成する。
【００６１】
図６において、パンクロマティック分類子分析ブロック２５２は、当業者に知られた任意の好適な方法で実施することができる。前段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類子ブロック２５２の分析は、２つの値Ｓ5及びＢ5のうちの小さい方を割り出すことにより、パンクロマティック分類決定２５４を生成することである。Ｓ5≦Ｂ5の場合、パンクロマティック分類決定はスラッシュである。そうでない場合、パンクロマティック分類決定はバックスラッシュである。シグマ・フィルタの場合、４つの係数ｃ1、ｃ3、ｃ7及びｃ9：
【００６２】
ｄ1＜ｔならばｃ1＝１、そうでなければｃ1＝０
ｄ3＜ｔならばｃ3＝１、そうでなければｃ3＝０
ｄ7＜ｔならばｃ7＝１、そうでなければｃ7＝０
ｄ9＜ｔならばｃ9＝１、そうでなければｃ9＝０
が一緒に、パンクロマティック分類決定を構成する。
【００６３】
閾値ｔは、画像キャプチャ装置の固有ノイズの関数である。古典的には、このノイズは、関連する平均値及び標準偏差を有するガウス（正規）分布としてモデル化される。値ｔは典型的には、このノイズ・モデルの標準偏差の１〜３倍の値に設定される。
【００６４】
図６において、色差ＣＦＡ画像補間予測ブロック２４４は、当業者に知られた任意の好適な方法で実施することができる。前の２つの段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類決定２５４は、２つの予測値ＣS5及びＣB5：
ＣS5＝（Ｃ3＋Ｃ7）／２
ＣB5＝（Ｃ1＋Ｃ9）／２
から選択するために使用される。
【００６５】
パンクロマティック分類決定がスラッシュであるならば、画素Ｐ5に対応する色差値Ｃ5はＣS5として計算される。そうでなければ、この値はＣB5として計算される。シグマ・フィルタの場合、ｃ1、ｃ3、ｃ7及びｃ9に応答する単一の予測値が計算される。
【００６６】
すなわち：
Ｃ5＝（ｃ1Ｃ1＋ｃ3Ｃ3＋ｃ7Ｃ7＋ｃ9Ｃ9）／（ｃ1＋ｃ3＋ｃ7＋ｃ9）
上記等式から、我々は、画素Ｐ5に対して分類子決定の係数ｃ1、ｃ3、ｃ7及びｃ9から、そして既存の色差値及びパンクロマティック画素値Ｃ1、Ｃ3、Ｃ7、及びＣ9から、色差値Ｃ5を計算することが判る。スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。
【００６７】
ｃ1、ｃ3、ｃ7及びｃ9の値の可能な全ての組み合わせを考えると、これは１６の可能な予測子値のうちの１つを選択することになる。結果として生じる最大解像度色差画像２５０は、画素位置毎のＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
【００６８】
図６に戻ると、最大解像度フルカラー画像生成ブロック２５６は、当業者に知られた任意の好適な方法で実施することができる。１つの方法は、各画素位置における色差値とパンクロマティック値との和を計算することである。所与の画素が色差値ＣR、ＣG、及びＣB、並びにパンクロマティック値Ｐを有する場合、相当するカラー値Ｒ、Ｇ及びＢは次のようになる：
【００６９】
Ｒ＝ＣR＋Ｐ
Ｇ＝ＣG＋Ｐ
Ｂ＝ＣB＋Ｐ
この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
【産業上の利用可能性】
【００７０】
本発明の好ましい態様に開示された補間アルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。
【００７１】
それぞれの事例において、補間アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザー入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ（ユーザーによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。
【００７２】
本発明による本明細書中に開示された補間アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。
【符号の説明】
【００７３】
１１０    コンピュータシステム
１１２    マイクロプロセッサをベースとするユニット
１１４    ディスプレイ
１１６    キーボード
１１８    マウス
１２０    ディスプレイ上のセレクタ
１２２    ディスク・ドライブ・ユニット
１２４    コンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）
１２６    フロッピー（登録商標）ディスク
１２７    ネットワーク接続
１２８    プリンタ
１３０    パーソナルコンピュータ・カード（ＰＣカード）
１３２    ＰＣカードリーダ
１３４    デジタルカメラ
１３６    カメラ・ドッキング・ポート
１３８    ケーブル接続
１４０    ワイヤレス接続
２００    ＲＧＢＰ  ＣＦＡ画像
２０２    パンクロマティック画像補間
２０４    最大解像度パンクロマティック画像
２０６    ＲＧＢ  ＣＦＡ画像補間
２０８    最大解像度フルカラー画像
２１０    パンクロマティック補正生成
２１２    低解像度ＲＧＢ  ＣＦＡ画像補間
２１４    パンクロマティック補正
２１６    低解像度フルカラー画像
２１８    画像組み合わせ
２２０    色差ＣＦＡ画像生成
２２２    色差ＣＦＡ画像
２２４    色差ＣＦＡ画像補間
２２６    最大解像度色差画像
２２８    最大解像度フルカラー画像生成
２３０    パンクロマティック分類子生成
２３２    パンクロマティック分類子
２３４    パンクロマティック分類子分析
２３６    パンクロマティック分類決定
２３８    ＲＧＢ  ＣＦＡ画像補間予測
２４０    色差ＣＦＡ画像生成
２４２    色差ＣＦＡ画像
２４４    色差ＣＦＡ画像補間予測
２４６    パンクロマティック分類子生成
２４８    パンクロマティック分類子
２５０    最大解像度色差画像
２５２    パンクロマティック分類子分析
２５４    パンクロマティック分類決定
２５６    最大解像度フルカラー画像生成
【図１】
2010511350.tif 000003
【図２】
2010511350.tif 000004
【図３】
2010511350.tif 000005
【図４】
2010511350.tif 000006
【図５】
2010511350.tif 000007
【図６】
2010511350.tif 000008
【図７】
2010511350.tif 000009
【図８】
2010511350.tif 000010
【図９】
2010511350.tif 000011
【国際調査報告】
2010511350.tif 000012
2010511350.tif 000013
2010511350.tif 000014
2010511350.tif 000015
2010511350.tif 000016