(57)【要約】  パンクロマチック画素と少なくとも２つのカラーフォトレスポンスに対応するカラー画素とを有するイメージセンサを使用して、画像を捕捉すること；該捕捉画像から、デジタル高解像度パンクロマチック画像とデジタル高解像度色差画像とを提供すること；そして最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用することを含んで成る最終デジタルカラー画像を形成する方法。
2009524989.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）  パンクロマチック画素と少なくとも２つのカラーフォトレスポンスに対応するカラー画素とを有するイメージセンサを使用して、画像を捕捉すること；
（ｂ）  該捕捉画像から、デジタル高解像度パンクロマチック画像とデジタル高解像度色差画像とを提供すること；そして
（ｃ）  最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
を含んで成る最終デジタルカラー画像を形成する方法。
【請求項２】
ステップ（ａ）が、レッド、グリーン、及びブルーの感光性を有するカラー画素を含む請求項１に記載の方法。
【請求項３】
ステップ（ａ）が、シアン、マゼンタ、及びイエローの感光性を有するカラー画素を含む請求項１に記載の方法。
【請求項４】
ステップ（ｂ）が、該デジタル高解像度パンクロマチック画像を生成するために、画素近傍分類子値に応答する画素近傍予測子値を使用することを含む請求項２に記載の方法。
【請求項５】
ステップ（ｂ）が、該デジタル高解像度色差画像を生成するために、デジタル補間された低解像度色差画像を使用することを含む請求項２に記載の方法。
【請求項６】
ステップ（ｂ）が、該デジタル補間された低解像度色差画像を生成するために、低解像度パンクロマチック画像と低解像度ＲＧＢ  ＣＦＡ画像とを使用することをさらに含む請求項５に記載の方法。
【請求項７】
ステップ（ｂ）が、低解像度色差画像を生成するために、該低解像度パンクロマチック画像と該低解像度ＲＧＢ  ＣＦＡ画像とを使用し、そして、該デジタル補間された低解像度色差画像を生成するために、該低解像度色差画像を使用することをさらに含む請求項６に記載の方法。
【請求項８】
該デジタル低解像度パンクロマチック画像を生成するために、該デジタル高解像度パンクロマチック画像を、平均化しそしてサブサンプリングすることを含む請求項６に記載の方法。
【請求項９】
該デジタル低解像度ＲＧＢ  ＣＦＡ画像を生成するために、デジタルＲＧＢＰ  ＣＦＡ画像を、加算又は平均化しそしてサブサンプリングすることを含む請求項６に記載の方法。
【請求項１０】
該イメージセンサが、下記配列：
【表１】
2009524989.tif 000035
を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有する請求項７に記載の方法。
【請求項１１】
該イメージセンサが、下記配列：
【表２】
2009524989.tif 000036
を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有する請求項７に記載の方法。
【請求項１２】
該イメージセンサが、下記配列：
【表３】
2009524989.tif 000037
を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有する請求項７に記載の方法。
【請求項１３】
該イメージセンサが、下記配列：
【表４】
2009524989.tif 000038
を成して、パンクロマチック画素（Ｐ）、並びにカラー画素、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）を有する請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらゆる種類の画像形成デバイスにおける使用に特に適したデジタルイメージプロセッシングオペレーションの分野に一般的に関する。
【背景技術】
【０００２】
ビデオカメラ及びデジタル・スチルカメラは一般に、場面を記録するために、カラーフィルタ・アレイを有する単独のイメージセンサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる、まばらに在る単一チャネル画像で始まる。これに続く、近傍画素値の補間は、完全な３チャネル・フルカラー画像の再構成を可能にする。このプロセスの一例を米国特許第５，５０６，６１９号明細書（Hamilton他）に見いだすことができる。
【０００３】
低光量画像形成状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマチックである状態で有することが有利である。これらのパンクロマチック画素は、捕捉システムの最大感光性能力を有する。パンクロマチック画素を採用することは、捕捉システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、画像形成装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、捕捉デバイスの低光量性能全体を制限することである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
カラーフィルタ・アレイにおいて最大感光性を備えたより多くの画素を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。場面からのカラー情報を捕捉するのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに応答しない、又はこれを保護しない、単純な線形補間技術を用いることを教示する。
【０００５】
必要となるものは、改善された低光量感光性、及び改善された色空間分解忠実度の両方を提供するための、パンクロマチック画素とカラー画素との好適な構成を有するカラーフィルタ・アレイである。加えて、パンクロマチック・ディテール及び色空間ディテールを維持して増強し、そして最終的にフルカラー、フル解像度の画像を生成するために、このようなカラーフィルタ・アレイによって生成された画像データを処理する方法が必要となる。
【課題を解決するための手段】
【０００６】
本発明は、
（ａ）  パンクロマチック画素と少なくとも２つのカラーフォトレスポンスに対応するカラー画素とを有するイメージセンサを使用して、画像を捕捉すること；
（ｂ）  該捕捉画像から、デジタル高解像度パンクロマチック画像とデジタル高解像度色差画像とを提供すること；そして
（ｃ）  最終デジタル高解像度フルカラー画像を生成するために、該デジタル高解像度パンクロマチック画像及び該デジタル高解像度色差画像を使用すること
を含んで成る最終デジタルカラー画像を形成する方法を提供する。
【０００７】
本発明の特徴は、改善された画像忠実度で、低光量捕捉下で画像を捕捉することができることである。
【０００８】
本発明の別の特徴は、適応的画像処理戦略を用いることによって、画像忠実度が改善されることである。
【発明を実施するための最良の形態】
【０００９】
以下に、通常はソフトウェアプログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の形態、並びにこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアは、コンベンショナルなものであり、慣用技術の範囲に含まれる。
【００１０】
さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリ（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。
【００１１】
本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナル、例えばハロゲン化銀フィルムの走査によって）デジタル化されることに留意するのも有益である。
【００１２】
例えば、図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。
【００１３】
ソフトウェアプログラム及びその他の情報を入力する手段を、マイクロプロセッサをベースとするユニット１１２に提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェアプログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを含んでもよく、これはソフトウェアプログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入される。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェアプログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。
【００１４】
ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られているＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカードは、カード１３０内に電子的に具体化されたデジタル化画像を含有する。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ１３４又はスキャナ(図示せず)から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することができる。
【００１５】
本発明によれば、まばらに在る画像を補間するために、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像に適用することができる。
【００１６】
図２は、好ましい態様の高レベルのダイヤグラムである。デジタルカメラ１３４は、デジタルＲＧＢＰ  ＣＦＡ画像又はＲＧＢＰ  ＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマチック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。この画像は、まばらにサンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマチック・データの画素値を１つしか含有していないからである。ブロック２００のコピーが、低解像度ＲＧＢ  ＣＦＡ画像形成ブロック２０２に渡される。ブロック２０２は、ＲＧＢＰ  ＣＦＡ画像から、低解像度ＲＧＢ  ＣＦＡ画像とも呼ばれるデジタル低解像度ＲＧＢ  ＣＦＡ画像を形成する。ブロック２００の別のコピーは、高解像度パンクロマチック画像形成ブロック２０４に渡される。ブロック２０４は、ＲＧＢＰ  ＣＦＡ画像から、高解像度パンクロマチック画像とも呼ばれるデジタル高解像度パンクロマチック画像を形成する。ブロック２０４の出力は、低解像度パンクロマチック画像形成ブロック２０６に渡される。ブロック２０６は、高解像度パンクロマチック画像から、低解像度パンクロマチック画像とも呼ばれるデジタル低解像度パンクロマチック画像を形成する。ブロック２０６の出力及びブロック２０２の出力は、低解像度色差形成ブロック２０８に渡される。ブロック２０８は、低解像度パンクロマチック画像を低解像度ＲＧＢ  ＣＦＡ画像から差し引くことにより、低解像度色差画像を形成する。ブロック２０８の出力は、低解像度色差画像補間ブロック２１６に渡される。ブロック２１６は、低解像度色差に対してバイエル(Bayer)ＣＦＡ補間演算を実施する。このようなバイエルＣＦＡ補間の一例は、米国特許第５，５０６，６１９号明細書（Hamilton他）に見いだすことができるが、他のバイエルＣＦＡ補間法を用い得ることは当業者には明らかである。ブロック２１６の結果は、各画素に対して３つの色差値を有する、補間された低解像度色差画像とも呼ばれるデジタル補間された低解像度色差画像である。ブロック２１６の出力は、高解像度色差形成ブロック２１０に渡される。ブロック２１０は、低解像度色差画像を双２次線形補間（アップサイジング）することにより、高解像度色差画像とも呼ばれるデジタル高解像度色差画像を形成する。ブロック２１０の出力及びブロック２０４の出力は、高解像度フルカラー画像形成ブロック２１２に渡される。ブロック２１２は、高解像度パンクロマチック画像を高解像度色差画像に加えることにより、高解像度フルカラー画像２１４とも呼ばれるデジタル高解像度フルカラー画像を形成する。
【００１７】
図３は、図２における高解像度パンクロマチック画像形成ブロック２０４のより詳細なダイヤグラムである。ＲＧＢＰ  ＣＦＡ画像２００（図２）は、画素近傍予測子(pixel neighborhood predictor)計算ブロック３００に渡される。ブロック３００は、画素近傍予測子値集合を計算する。ブロック３００の結果は、画素近傍分類子(pixel neighborhood classifier)計算ブロック３０２に渡される。ブロック３０２は、画素近傍分類子値集合を計算し、各分類子値は、ブロック３００内で計算された予測子値のうちの１つに対応する。ブロック３０２の結果は、計算方向決定ブロック３０４に渡される。ブロック３０４は、ブロック３０２内で生成された分類子値集合に基づいて、好ましい計算方向を決定する。ブロック３０４の結果及びブロック３００の結果は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６は、ブロック３０４によって決定された方向に応じて、ブロック３００の結果から好適な予測子値を選択する。選択されたこの予測子値は次いで、補間された高解像度パンクロマチック画素値になる。ブロック３０６の結果は、ブロック２０４の出力になる（図２）。
【００１８】
図４は、ＲＧＢＰ  ＣＦＡ画像ブロック２００全体にわたって反復された画素領域である。図４の顕著な特徴は、パンクロマチック画素の２つの行が、レッド及びグリーンの画素と、グリーン及びブルーの画素との交互の行によって分離されていることである。
【００１９】
図５は、図６に示された画素領域を生成するために、低解像度ＲＧＢ  ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この好ましい態様において、下記式が用いられる。
【００２０】
【数１】
2009524989.tif 000003
【００２１】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには３分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、３つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。本発明の別の態様の場合、ブロック２０２のための異なる式集合が下記のように用いられる。
【００２２】
【数２】
2009524989.tif 000004
【００２３】
図７は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される画素領域である。ブロック３００（図３）によって計算される２つの予測子値集合がある。画素近傍の中心画素がグリーン画素、例えば図７におけるＧ15である場合、下記予測子値が計算される。
【００２４】
【数３】
2009524989.tif 000005
【００２５】
画素近傍の中心画素がグリーン画素ではなく、例えば図７におけるＢ16である場合、下記予測子値が計算される。
【００２６】
【数４】
2009524989.tif 000006
【００２７】
ブロック３０２（図３）によって計算される１つの分類子値集合がある。所与の近傍における中心画素の色は種々異なっていてよいが、分類子を計算するためには同じ式が用いられる。２つの例をここで挙げる。画素近傍の中心画素がグリーン画素、例えば図７におけるＧ15である場合、下記分類子値が計算される。
【００２８】
【数５】
2009524989.tif 000007
【００２９】
値ｔ1及びｔ2は、ｃhorizontal、ｃleft、及びｃrightがｃslash、ｃvertical、又はｃbackslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔ1及びｔ2の典型的な値は、８ビット画素値データ範囲に関して２０及び４０である。画素近傍の中心画素がグリーン画素ではなく、例えば図７におけるＢ16である場合、下記分類子値が計算される。
【００３０】
【数６】
2009524989.tif 000008
【００３１】
なお、これらの式は両方の例において実質的に同じである。レッド画素を中心とする近傍の場合、第２の例から分類子を求めることができ、ブルー画素値をレッド画素値と交換することになる。
【００３２】
図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔactivityと比較される。ｔactivityの典型的な値は、８ビット画素値データ範囲に関して２００である。全ての分類子値が活性閾値以上である場合、計算方向は、予測子値ｐcubicと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図８に示されている。図８において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図８は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。
【００３３】
【数７】
2009524989.tif 000009
【００３４】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには３分の１である。本発明の別の態様の場合、ブロック２０６（図２）のための異なる式集合が下記のように用いられる。
【００３５】
【数８】
2009524989.tif 000010
【００３６】
図１０は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１０において、Ｘ1及びＸ4は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ2及びＸ3が計算される。
【００３７】
【数９】
2009524989.tif 000011
【００３８】
双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。
【００３９】
本発明の別の態様をここで説明する。図２及び図３は、好ましい態様におけるものと同様である。図１１は、ＲＧＢＰ  ＣＦＡ画像ブロック２００（図２）全体にわたって反復された別の画素領域である。図１１の顕著な特徴は、パンクロマチック画素の２つの行が、３つの隣接するレッド、続いて３つの隣接するグリーンの画素と、３つの隣接するグリーン、続いて３つの隣接するブルーの画素との交互の行によって分離されていることである。
【００４０】
図１２は、図６に示された画素領域を生成するために、低解像度ＲＧＢ  ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この好ましい態様において、下記式が用いられる。
【００４１】
【数１０】
2009524989.tif 000012
【００４２】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには３分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、３つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。
【００４３】
図１３は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される画素領域である。画素近傍の中心画素がブルー又はレッド画素、例えば図１３におけるＢ33である場合、下記予測子値が計算される。
【００４４】
【数１１】
2009524989.tif 000013
【００４５】
画素近傍の中心画素がグリーン画素である場合、ｐhorizontalは単にグリーン中心画素値になる。ブロック３０２（図３）によって計算される１つの分類子値集合がある。所与の近傍における中心画素の色は種々異なっていてよいが、分類子を計算するためには同じ式が用いられる。図１３に戻ると、画素近傍の中心画素は、Ｂ33であり、この値に関して、下記分類子値が計算される。
【００４６】
【数１２】
2009524989.tif 000014
【００４７】
値ｔ1及びｔ2は、ｃhorizontal、ｃleft、及びｃrightがｃslash、ｃvertical、又はｃbackslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔ1及びｔ2の典型的な値は、８ビット画素値データ範囲に関して５０及び５０である。
【００４８】
図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔactivityと比較される。ｔactivityの典型的な値は、８ビット画素値データ範囲に関して２００である。全ての分類子値が活性閾値以上である場合、計算方向は、予測子値ｐcubicと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図８に示されている。図８において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図８は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。
【００４９】
【数１３】
2009524989.tif 000015
【００５０】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには３分の１である。本発明の別の態様の場合、ブロック２０６（図２）のための異なる式集合が下記のように用いられる。
【００５１】
【数１４】
2009524989.tif 000016
【００５２】
図１０は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１０において、Ｘ1及びＸ4は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ2及びＸ3が計算される。
【００５３】
【数１５】
2009524989.tif 000017
【００５４】
双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。
【００５５】
本発明の第２の別の態様をここで説明する。図２及び図３は、好ましい態様におけるものと同様である。図１４は、ＲＧＢＰ  ＣＦＡ画像ブロック２００（図２）全体にわたって反復された別の画素領域である。図１４の顕著な特徴は、パンクロマチック画素の単一の行が、４つの隣接するレッド、続いて４つの隣接するグリーンの画素と、４つの隣接するグリーン、続いて４つの隣接するブルーの画素との交互の行によって分離されていることである。
【００５６】
図１５は、図６に示された画素領域を生成するために、低解像度ＲＧＢ  ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この好ましい態様において、下記式が用いられる。
【００５７】
【数１６】
2009524989.tif 000018
【００５８】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには８分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、８つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。
【００５９】
図１６は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される別の画素領域を示す。画素近傍の中心画素の１つがブルー画素、例えば図１６ＡにおけるＢ24である場合、下記予測子値が計算される。
【００６０】
【数１７】
2009524989.tif 000019
【００６１】
画素近傍の中心画素の１つがレッド画素、例えば図１６ＢにおけるＲ24である場合、下記予測子値が計算される。
【００６２】
【数１８】
2009524989.tif 000020
【００６３】
画素近傍の中心画素の１つがグリーン画素、例えば図１６ＣにおけるＧ24である場合、下記予測子値が計算される。
【００６４】
【数１９】
2009524989.tif 000021
【００６５】
【数２０】
2009524989.tif 000022
【００６６】
画素近傍の中心画素の１つがグリーン画素、例えば図１６ＤにおけるＧ24である場合、下記予測子値が計算される。
【００６７】
【数２１】
2009524989.tif 000023
【００６８】
ブロック３０２（図３）によって計算される１つの分類子値集合がある。所与の近傍における中心画素の色は種々異なっていてよいが、分類子を計算するためには同じ式が用いられる。図１６Ａを参照すると、画素近傍の中心画素は、Ｂ24であり、そして下記分類子値が計算される。
【００６９】
【数２２】
2009524989.tif 000024
【００７０】
値ｔは、ｃhorizontalがｃslash、ｃvertical、又はｃbackslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔの典型的な値は、８ビット画素値データ範囲に関して２０である。図１６Ｂを参照すると、画素近傍の中心画素は、Ｒ24であり、そして下記分類子値が計算される。
【００７１】
【数２３】
2009524989.tif 000025
【００７２】
【数２４】
2009524989.tif 000026
【００７３】
値ｔは、ｃhorizontalがｃslash、ｃvertical、又はｃbackslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔの典型的な値は、８ビット画素値データ範囲に関して２０である。図１６Ｃを参照すると、画素近傍の中心画素は、Ｇ24であり、そして下記分類子値が計算される。
【００７４】
【数２５】
2009524989.tif 000027
【００７５】
値ｔは、ｃhorizontalがｃslash、ｃvertical、又はｃbackslashよりも小さいことの尤度を低減するが、しかし排除はしないために選択される閾値である。値ｔの典型的な値は、８ビット画素値データ範囲に関して２０である。
【００７６】
図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔactivityと比較される。ｔactivityの典型的な値は、８ビット画素値データ範囲に関して２００である。全ての分類子値が活性閾値以上である場合、計算方向は、予測子値ｐcubicと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図１７に示されている。図１７において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図１７は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。
【００７７】
【数２６】
2009524989.tif 000028
【００７８】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには８分の１である。
【００７９】
図１８は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１８において、Ｘ1及びＸ5は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ2、Ｘ3及びＸ4が計算される。
【００８０】
【数２７】
2009524989.tif 000029
【００８１】
双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。
【００８２】
本発明の第３の別の態様をここで説明する。図２及び図３は、好ましい態様におけるものと同様である。図１９は、ＲＧＢＰ  ＣＦＡ画像ブロック２００（図２）全体にわたって反復された別の画素領域である。図１９の顕著な特徴は、パンクロマチック画素の交互の単一の行及び単一の列が、隔離されたレッド、グリーン、及びブルー画素によって分離されていることである。
【００８３】
図２０は、図６に示された画素領域を生成するために、低解像度ＲＧＢ  ＣＦＡ画像形成ブロック２０２（図２）によって使用される画素領域である。図６の画素値を生成するために、この別の態様において、下記式が用いられる。
【００８４】
【数２８】
2009524989.tif 000030
【００８５】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。ｋの典型的な値は、平均画素値を生成するためには４分の１、及び加算された画素値を生成するためには１である。なお、本発明の範囲内で、４つの画素値から１つの画素値を生成することは、サブサンプリングの形態である。
【００８６】
図２１は、画素近傍予測子計算ブロック３００（図３）及び画素近傍分類子計算ブロック３０２（図３）の両方によって使用される別の画素領域を示す。中心画素Ｘ22はレッド、グリーン、又はブルー画素である。別の画素領域に関しては、下記予測子値が計算される。
【００８７】
【数２９】
2009524989.tif 000031
【００８８】
同じ別の画素領域に関して、下記分類子が計算される。
【００８９】
【数３０】
2009524989.tif 000032
【００９０】
図３に戻ると、ブロック３０２において計算される分類子値は、計算方向決定ブロック３０４に渡される。ブロック３０４において、各分類子値が、活性閾値ｔactivityと比較される。ｔactivityの典型的な値は、８ビット画素値データ範囲に関して１６０である。全ての分類子値が活性閾値以下である場合、計算方向は、予測子値ｐflatと連携する特殊事例となる。この第１の試験に失敗すると、最小値を有する分類子が決定される。この分類子と連携する方向は、ブロック３０４の出力になる。ブロック３０４の出力及びブロック３００の出力は、高解像度パンクロマチック画素値計算ブロック３０６に渡される。ブロック３０６において、レッド、グリーン、又はブルー画素を中心とするそれぞれの画素近傍に対して、ブロック３０４で決定された計算方向に対応する予測子値は、補間されたパンクロマチック値になる。結果として生じる高解像度パンクロマチック・チャネルの一部が図２２に示されている。図２２において、下付き文字がない値は、元の既存のパンクロマチック値を表し、そして下付き文字を有する値は、補間されたパンクロマチック値を表す。加えて、図２２は、図９に示された画素領域を生成するために、低解像度パンクロマチック画像形成ブロック２０６（図２）によって使用される画像領域である。下記式は、図９における画素値を生成するために、この好ましい態様において使用される。
【００９１】
【数３１】
2009524989.tif 000033
【００９２】
これらの式において、ｋは、出力値の所期画素値範囲を生成するためのスケール係数である。典型的には、ｋは、平均画素値を生成するためには４分の１である。
【００９３】
図１８は、高解像度色差形成ブロック２１０（図２）から形成された画素領域である。図１８において、Ｘ1及びＸ5は、ブロック２０８（図２）によって形成された低解像度色差画像における既存の色差値を表す。下記式を用いて、ブロック２１０（図２）において補間された色差値Ｘ2、Ｘ3、及びＸ4が計算される。
【００９４】
【数３２】
2009524989.tif 000034
【００９５】
双２次線形補間のための標準的な実施と同様に、この演算は、各行における色差値量を３倍にするために各行に対して行われる。次いで、この計算は、各列における色差値量を３倍にするために各列に対して鉛直方向に繰り返される。ブロック２１０の出力は、高解像度フルカラー画像形成ブロック２１２に送られる。
【００９６】
本発明の好ましい態様に開示された補間アルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。
【００９７】
それぞれの事例において、補間アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザー入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ（ユーザーによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。
【００９８】
本発明による本明細書中に開示された補間アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。
【図面の簡単な説明】
【００９９】
【図１】図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す全体図である。
【図２】図２は、好ましい態様を示すブロック・ダイヤグラムである。
【図３】図３は、図２のブロック２０４をより詳細に示すブロック・ダイヤグラムである。
【図４】図４は、図２のブロック２０２における画素領域を示す図である。
【図５】図５は、図２のブロック２０２において使用される画素領域を示す図である。
【図６】図６は、図２のブロック２０２において生成される画素領域を示す図である。
【図７】図７は、図２のブロック２０４において使用される画素領域を示す図である。
【図８】図８は、図２のブロック２０４において生成される画素領域を示す図である。
【図９】図９は、図２のブロック２０６において生成される画素領域を示す図である。
【図１０】図１０は、図２のブロック２１０において生成される画素領域を示す図である。
【図１１】図１１は、別の態様の、図２のブロック２００において生成される画素領域を示す図である。
【図１２】図１２は、別の態様の、図２のブロック２０２において使用される画素領域を示す図である。
【図１３】図１３は、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。
【図１４】図１４は、別の態様の、図２のブロック２００において生成される画素領域を示す図である。
【図１５】図１５は、別の態様の、図２のブロック２０２において使用される画素領域を示す図である。
【図１６Ａ】図１６Ａは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。
【図１６Ｂ】図１６Ｂは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。
【図１６Ｃ】図１６Ｃは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。
【図１６Ｄ】図１６Ｄは、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。
【図１７】図１７は、別の態様の、図２のブロック２０４において生成される画素領域を示す図である。
【図１８】図１８は、別の態様の、図２のブロック２１０における画素領域を示す図である。
【図１９】図１９は、別の態様の、図２のブロック２００において生成される画素領域を示す図である。
【図２０】図２０は、別の態様の、図２のブロック２０２において使用される画素領域を示す図である。
【図２１】図２１は、別の態様の、図２のブロック２０４において使用される画素領域を示す図である。
【図２２】図２２は、別の態様の、図２のブロック２０４において生成される画素領域を示す図である。
【符号の説明】
【０１００】
１１０    コンピュータシステム
１１２    マイクロプロセッサをベースとするユニット
１１４    ディスプレイ
１１６    キーボード
１１８    マウス
１２０    ディスプレイ上のセレクタ
１２２    ディスク・ドライブ・ユニット
１２４    コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６    フロッピー（登録商標）ディスク
１２７    ネットワーク接続
１２８    プリンタ
１３０    パーソナルコンピュータ・カード（ＰＣカード）
１３２    ＰＣカードリーダ
１３４    デジタルカメラ
１３６    カメラ・ドッキング・ポート
１３８    ケーブル接続
１４０    ワイヤレス接続
２００    ＲＧＢＰ  ＣＦＡ画像
２０２    低解像度ＲＧＢ  ＣＦＡ画像形成
２０４    高解像度パンクロマチック画像形成
２０６    低解像度パンクロマチック画像形成
２０８    低解像度色差形成
２１０    高解像度色差形成
２１２    高解像度フルカラー画像形成
２１４    高解像度フルカラー画像
２１６    低解像度色差画像補間
３００    画素近傍予測子計算
３０２    画素近傍分類子計算
３０４    計算方向決定
３０６    高解像度パンクロマチック画素値計算
【図１】
2009524989.tif 000039
【図２】
2009524989.tif 000040
【図３】
2009524989.tif 000041
【図４】
2009524989.tif 000042
【図５】
2009524989.tif 000043
【図６】
2009524989.tif 000044
【図７】
2009524989.tif 000045
【図８】
2009524989.tif 000046
【図９】
2009524989.tif 000047
【図１０】
2009524989.tif 000048
【図１１】
2009524989.tif 000049
【図１２】
2009524989.tif 000050
【図１３】
2009524989.tif 000051
【図１４】
2009524989.tif 000052
【図１５】
2009524989.tif 000053
【図１６Ａ】
2009524989.tif 000054
【図１６Ｂ】
2009524989.tif 000055
【図１６Ｃ】
2009524989.tif 000056
【図１６Ｄ】
2009524989.tif 000057
【図１７】
2009524989.tif 000058
【図１８】
2009524989.tif 000059
【図１９】
2009524989.tif 000060
【図２０】
2009524989.tif 000061
【図２１】
2009524989.tif 000062
【図２２】
2009524989.tif 000063
【国際調査報告】
2009524989.tif 000064
2009524989.tif 000065