(57)【要約】  第１の画素アスペクト比を有するエンハンスド・デジタルフルカラー画像の形成方法であって、第１の画素アスペクト比と異なる第２の画素アスペクト比をそれぞれ有するパンクロ画素と少なくとも２つの色の光応答に対応するカラー画素とを有する画像センサを使用して画像を捕捉するステップと、デジタル高解像度パンクロ画像を捕捉画像から提供し、第２の画素アスペクト比から第１の画素アスペクト比にパンクロ画素値のアスペクト比を変更して、アスペクト補正したデジタル高解像度パンクロ画像を作り出すステップと、デジタル低解像度ＣＦＡ色差画像を捕捉画像から提供するステップと、アスペクト補正したデジタル高解像度色差画像を低解像度ＣＦＡ色差画像から提供するステップと、それぞれアスペクト補正したデジタル高解像度パンクロ画像と、デジタル高解像度色差画像とを使用して、エンハンスド・デジタルフルカラー画像を作り出すステップとを有する方法。【選択図】図４
2010537228.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素アスペクト比を有するエンハンスド・デジタルフルカラー画像を形成する方法であって、
ａ）パンクロ画素と、少なくとも２つの色の光応答に対応するカラー画素とを有する画像センサを使用して画像を捕捉するステップであって、カラー画素と、パンクロ画素はそれぞれ、前記第１の画素アスペクト比と異なる第２の画素アスペクト比を有するステップと、
ｂ）デジタル高解像度パンクロ画像を前記捕捉画像から提供し、前記第２の画素アスペクト比から前記第１の画素アスペクト比に前記パンクロ画素値のアスペクト比を変更して、アスペクト補正したデジタル高解像度パンクロ画像を作り出すステップと、
ｃ）デジタル低解像度カラーフィルタアレイ色差画像を前記捕捉画像から提供するステップと、
ｄ）前記低解像度カラーフィルタアレイ色差画像から、アスペクト補正したデジタル高解像度色差画像を提供するステップと、
ｅ）前記アスペクト補正した高解像度パンクロ画像と、アスペクト補正した高解像度色差画像とを使用して、前記エンハンスド・デジタルフルカラー画像を作り出すステップと、
を有することを特徴とする方法。
【請求項２】
ステップ（a）は、赤色、緑色、及び青色の光応答を有するカラー画素を含む請求項１に記載の方法。
【請求項３】
ステップ（a）は、シアン、マゼンタ、及び黄色の光応答を有するカラー画素を含む請求項１に記載の方法。
【請求項４】
ステップ（ｃ）は、前記高解像度パンクロ画像からデジタル低解像度パンクロ画像を作り出し、前記低解像度パンクロ画像と、前記捕捉したカラー画像とを使用して、前記デジタル低解像度カラーフィルタアレイ色差画像を作り出すステップを含む請求項１に記載の方法。
【請求項５】
ステップ（ｄ）は、色差画素値をカラーフィルタアレイ補間するステップを含む請求項１に記載の方法。
【請求項６】
ステップ（ｄ）は、前記第２の画素アスペクト比から前記第１の画素アスペクト比に色差画素値の前記画素アスペクト比を変更するステップを含む請求項１に記載の方法。
【請求項７】
ステップ（ｄ）は、低解像度から高解像度に色差画素値をサイズ変更するステップを含む請求項１に記載の方法。
【請求項８】
前記第１の画素アスペクト比は、正方形の輪郭を示し、前記第２の画素アスペクト比は、正方形ではない長方形の輪郭を示す請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる画素アスペクト比（pixel  aspect  ratio）を有するパンクロ画像とカラー画像とから、所望の画素アスペクト比を有するカラー画像を形成することに関する。
【背景技術】
【０００２】
一般的には、ビデオカメラとデジタルスチルカメラは、カラーフィルタアレイを有する単一の画像センサを使用して、場面（scene）を記録する。このアプローチは、カラーフィルタアレイのパターンによって色情報がエンコードされる低密度（sparsely  populated）単一チャネル画像とともに開始する。これに続く、近接画素値による補間は、完全な３チャネルフルカラー画像の復元を可能にする。一般的には、このフルカラー画像は、正方形の画素格子上にサンプリングされた画素値から構成することが暗黙に仮定される。すなわち、画像の画素は、正方形であると仮定される。このことは、これに続く画像のレンダリングにおいて、正方形の画素を使用する画像表示装置及び画像印刷装置の多くで重要なことである。しかしながら、フルカラー画像における正方形の画素の要求は、単一の画像センサが正方形の画素を使用することを要求するものではない。長方形の（正方形ではない）画素を使用するセンサは、周知の技術である。長方形の画素捕捉から正方形の画素捕捉を作り出す一般的な方法は、長方形の画素によってフルカラー画像を作り出して、次いで最終的なステップとして、フルカラー画像を正方形の画素を有するフルカラー画像に変換する。このアプローチは、米国特許第５７７８１０６号、（Juenger他）に典型的に示される。図２を参照すると、長方形の画素の単一センサを装備するデジタルカメラ２００は、ＲＧＢ  ＣＦＡ画像２０２を作り出す。ＣＦＡ補間ブロック２０４は、ＲＧＢ  ＣＦＡ画像２０２からフルカラー画像２０６を作り出す。画素アスペクト比補正ブロック２０８は、フルカラー画像２０６から画素アスペクト比を補正したフルカラー画像２１０を作り出す。この例では、正方形でない画素を有する初期画像（ブロック２０２）から正方形の画素を有する画像（ブロック２１０）を作り出すために、一連の画像処理において余分な操作（ブロック２０８）が必要になることが理解できる。より良い解決法は、画素アスペクト比補正ブロック２０８をＣＦＡ補間ブロック２０４に直接的に組み込むことであろう。このアプローチに関係する一例が米国特許第７０９２０２０号（Yoshikawa）において教示される。図３を参照すると、（正方形の画素の単一センサを装備する）デジタルカメラ２１２は、ＲＧＢ  ＣＦＡ画像２１４を作り出す。ＣＦＡ補間及びサイズ変更ブロック２１６は、２つの別のステップ（補間、次にサイズ変更）に操作を分割せずに、すなわち対応する中間画像を作り出さずに、デジタル処理でズームされた（拡大された）フルカラー画像を直接計算することによって、ＲＧＢ  ＣＦＡ画像２１４からサイズを変更したフルカラー画像２１８を作り出す。
【０００３】
低光量画像形成状況の下では、カラーフィルタアレイでフィルタリングしない、すなわちスペクトル感度において白色、又はパンクロである１つ又は２つ以上の画素を有することは、有利である。パンクロ画素は、捕捉システムの最大光感度能力を有する。パンクロ画素を採用することは、捕捉システムにおける光感度とカラースペクトル解像度との間のトレードオフを意味する。この目的を達成するために、４色カラーフィルタアレイシステムが多く説明されてきた。米国特許第６５２９２３９号（Dyck他）は、センサ表面に亘りモザイク状にして２×２ブロックとして配置する緑色‐シアン‐黄色‐白色のパターンを教示する。米国特許第６７５７０１２号（Hubina他）は、赤色‐緑色‐青色‐白色のパターンと、黄色‐シアン‐マゼンタ‐白色のパターンとの双方を開示する。双方の場合で、色は、画像装置の表面に亘りモザイク状にして２×２ブロックとして配置される。このようなシステムにおける問題は、カラーフィルタアレイの１／４の画素のみが最大光感度を有するので、捕捉装置の全体的な低光量性能が制限されることである。
【０００４】
カラーフィルタアレイにおいて、最大光感度を有する画素をより多く有する必要性に対処するために、米国特許出願第２００３／０２１０３３２号（Frame）は、画素の多くがフィルタリングされない画素アレイを説明する。場面からの色情報の捕捉に比較的少ない画素を充て、カラースペクトル解像度が低いシステムを作り出す。さらに、Frameは、単純な線形補間技術を使用することを教示するが、これは、画像における高周波の色空間のディテール（color  spatial  details）に応答しない、すなわちこれを保護しない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、異なる画素アスペクト比を有するパンクロ画像とカラー画像とから、所望の画素アスペクト比を有するカラー画像を作り出すことである。
【課題を解決するための手段】
【０００６】
この目的は、第１の画素アスペクト比を有するエンハンスド・デジタルフルカラー画像を形成する方法であって、
ａ）パンクロ画素と、少なくとも２つの色の光応答に対応するカラー画素とを有する画像センサを使用して画像を捕捉するステップであって、カラー画素と、パンクロ画素はそれぞれ、第１の画素アスペクト比と異なる第２の画素アスペクト比を有するステップと、
ｂ）デジタル高解像度パンクロ画像を捕捉画像から提供し、第２の画素アスペクト比から第１の画素アスペクト比にパンクロ画素値のアスペクト比を変更して、アスペクト補正したデジタル高解像度パンクロ画像を作り出すステップと、
ｃ）デジタル低解像度カラーフィルタアレイ色差画像を捕捉画像から提供するステップと、
ｄ）低解像度カラーフィルタアレイ色差画像から、アスペクト補正したデジタル高解像度色差画像を提供するステップと、
ｅ）アスペクト補正したデジタル高解像度パンクロ画像と、アスペクト補正したデジタル高解像度色差画像とを使用して、エンハンスド・デジタルフルカラー画像を作り出すステップと、
を有する方法によって達成される。
【発明の効果】
【０００７】
低光量条件の下で、第１のアスペクト比を有するパンクロ画素及びカラー画素を有するセンサによって画像を捕捉し、パンクロ画像とカラー画像とから作り出したデジタルカラー画像の所望の画素アスペクト比を作り出す処理ができることは、本発明の特徴である。
【０００８】
本発明は、低光量感度と、色空間解像度の忠実性との双方の改良を上述の方法が提供できるように、パンクロ画素とカラー画素の適当な構成を有するカラーフィルタアレイを使用する。上述の方法は、パンクロ空間のディテールと色空間のディテールを維持、エンハンスし、フルカラー、かつフル解像度画像を作り出す。
【図面の簡単な説明】
【０００９】
【図１】本発明を実行するデジタルカメラを含むコンピュータシステムの全体像を示す図である。
【図２】画素アスペクト比を補正する一連の画像処理の先行技術のブロックを概略的に示す図である。
【図３】ＣＦＡ補間と、画像サイズ変更とを組み合わせた一連の先行技術のブロックを概略的に示す図である。
【図４】本発明の好適な実施形態のブロックを概略的に示す図である。
【図５Ａ】図４のブロック３０２をより詳細に表すブロックを示す図である。
【図５Ｂ】本発明の他の実施形態における図４のブロック３０２をより詳細に表すブロックを示す図である。
【図６Ａ】図４のブロック３１６をより詳細に表すブロックを示す図である。
【図６Ｂ】本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。
【図６Ｃ】本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。
【図６Ｄ】本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。
【図６Ｅ】本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。
【図６Ｆ】本発明の他の実施形態における図４のブロック３１６をより詳細に表すブロックを示す図である。
【図７Ａ】図６Ａにおけるブロック３１６で使用する画素の領域を示す図である。
【図７Ｂ】図６Ａにおけるブロック３１６で使用する画素の領域を示す図である。
【図８Ａ】図６Ｃにおけるブロック３１６で使用する画素の領域を示す図である。
【図８Ｂ】図６Ｃにおけるブロック３１６で使用する画素の領域を示す図である。
【図９Ａ】図６Ｄにおけるブロック３１６で使用する画素の領域を示す図である。
【図９Ｂ】図６Ｄにおけるブロック３１６で使用する画素の領域を示す図である。
【図１０Ａ】図６Ｅにおけるブロック３１６で使用する画素の領域を示す図である。
【図１０Ｂ】図６Ｅにおけるブロック３１６で使用する画素の領域を示す図である。
【図１１Ａ】図６Ｆにおけるブロック３１６で使用する画素の領域を示す図である。
【図１１Ｂ】図６Ｆにおけるブロック３１６で使用する画素の領域を示す図である。
【発明を実施するための形態】
【００１０】
以下の説明において、本発明の好適な実施形態は通常、ソフトウェアプログラムとして実行する条件で説明されていく。当業者は、このソフトウェアの均等物がハードウェアにおいても構成できることを直に理解するであろう。画像操作アルゴリズム及び画像操作システムは、周知であるので、本明細書は、本発明に従ったシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明に従ったシステム及び方法の一部とより直接的に協働するアルゴリズム及びシステムに特に向けられることになるであろう。本明細書に含まれる画像信号を作り出し、またそれ以外の処理アルゴリズム及び処理システム、及びハードウェア又はソフトウェアの他の態様は、公知のシステム、アルゴリズム、コンポーネント、及び素子から選択できる。以下の説明において、本発明に従って説明されるシステムを鑑みて、本発明の実施に有用なソフトウェアであって、本明細書に特に示され、提案され、又は説明されないソフトウェアは、従来のものであり、慣用技術の範囲内である。
【００１１】
またさらに、本明細書において使用するときに、コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶でき、これには磁気ディスク（ハードドライブディスク、フロッピー（登録商標）ディスクなど）、又は磁気テープなどの磁気記憶媒体、光ディスク、光テープ、又は機械が読み取り可能なバーコードなどの光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリメモリ（ＲＯＭ）などの電子的半導体記憶媒体、若しくはコンピュータプログラムを記憶するために採用する他の物理的装置、又は物理的媒体などを含むことができる。
【００１２】
なお、本発明が、パーソナルコンピュータなどの周知のいずれかのコンピュータシステムにおいて好適に利用されることを、本発明の説明の前に留意すると理解が容易になる。このため、本明細書では、コンピュータシステムは、詳細に説明されることはないであろう。なお、（デジタルカメラなどによって）コンピュータシステムに画像が直接入力されるか、又は（ハロゲン化銀フィルムなどのオリジナルを走査するなどして）コンピュータシステムに入力される前に画像がデジタル化されるかの何れかであることに留意することもまた有益である。
【００１３】
図１を参照して、本発明を実施するコンピュータシステム１１０が説明される。コンピュータシステム１１０は、好適な実施形態を説明するために示されるが、本発明は、図示されるコンピュータシステム１１０に限定されず、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用できる。コンピュータシステム１１０は、ソフトウェアプログラムを受信し、かつ処理し、そして他の処理機能を実行するマイクロプロセッサベースユニット１１２を含む。表示装置１１４は、ソフトウェアに関連付けられるユーザ関係情報をグラフィカルユーザインタフェースなどによって表示するために、マイクロプロセッサベースユニット１１２に電気的に接続される。また、ユーザがソフトウェアに情報を入力するために、マイクロプロセッサベースユニット１１２にキーボード１１６が電気的に接続される。入力に使用するキーボート１１６に代わるものとして、周知のように、マウス１１８を使用して、表示装置１１４上のセレクタ１２０を移動してセレクタ１２０が重なった項目を選択できる。
【００１４】
ソフトウェアプログラムを標準的に包含するコンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４をマイクロプロセッサベースユニットに挿入して、ソフトウェアプログラムと他の情報とをマイクロプロセッサベースユニット１１２に入力する経路を提供する。さらにまた、フロッピー（登録商標）ディスクもソフトウェアプログラムを包含でき、フロッピー（登録商標）ディスクをマイクロプロセッサベースユニット１１２に挿入して、ソフトウェアプログラムを入力する。また、マイクロプロセッサベースユニット１１２に接続される外部ディスクドライブユニット１２２にコンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４、又はフロッピー（登録商標）ディスク１２６を挿入できる。またさらに、マイクロプロセッサベースユニット１１２は、周知のように、ソフトウェアプログラムを内部で記憶するようにプログラムできる。また、マイクロプロセッサベースユニット１１２は、電話線などのネットワーク接続１２７を有し、構内通信網、又はインタネットなどの外部ネットワークに接続される。また、プリンタ１２８をマイクロプロセッサベースユニット１１２に接続して、コンピュータシステム１１０から出力されるハードコピーを印刷できる。
【００１５】
また、画像は、（Personal  Computer  Memory  Card  International  Associationの規格に基づき）以前はＰＣＭＣＩＡカードと称されたパーソナルコンピュータカード（ＰＣカード）１３０によって、表示装置１１４に表示できる。ＰＣカード１３０は、電子的に組み込まれたデジタル画像を含む。最終的には、ＰＣカード１３０をマイクロプロセッサベースユニット１１２に挿入して、表示装置１１４に画像の画像表示できる。また、ＰＣカード１３０は、マイクロプロセッサベースユニット１１２に接続される外付けのＰＣカードリーダ１３２に挿入できる。また、画像は、コンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して入力できる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６、又はコンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）１２４に記憶された画像、若しくはネットワーク接続１２７を介して入力された画像はいずれも、デジタルカメラ（図示せず）、スキャナ（図示せず）などの様々なソースから取得された画像にできる。また、画像は、マイクロプロセッサベースユニット１１２に接続されたカメラ接続ポート１３６を介してデジタルカメラから直接入力できる。また、マイクロプロセッサベースユニット１１２とのケーブル接続１３８、又はマイクロプロセッサベースユニット１１２との無線接続１４０を介してデジタルカメラから直接入力できる。
【００１６】
本発明に従って、これまで述べたいずれの記憶装置にも記憶でき、低密度画像を補間するために画像に適用される。
【００１７】
図４において、好適な実施形態のハイレベル図を概略的に示す。デジタルカメラ１３４（図１）に起因して、デジタルＲＧＢＰ  ＣＦＡ画像、又はＲＧＢＰ  ＣＦＡ画像とも称されるデジタル赤色‐緑色‐青色‐パンクロ（ＲＧＢＰ）カラーフィルタアレイ（ＣＦＡ）画像３００のオリジナルを創出する。なお、以下の説明で赤色‐緑色‐青色‐パンクロの代わりにシアン‐マゼンタ‐黄色‐パンクロなどの他の色の組み合わせを使用できる。キーポイントは、パンクロチャネルを含むことである。画像内のそれぞれの画素は、赤色データ、緑色データ、青色データ、又はパンクロデータの１つの画素値のみを含むので、この画像は、粗く（sparsely）サンプリングした画像と考えられる。パンクロ補間ブロック３０２は、ＲＧＢＰ  ＣＦＡ画像３００から高解像度パンクロ画像３０４と、低解像度パンクロ画像３０６とを作り出す。画像処理連鎖においてこの時点で、それぞれのカラー画素の位置は、赤色値、緑色値、又は青色値の何れかと、関連するパンクロ値とを有する。低解像度色間引き（Decimation）ブロック３１０は、ＲＧＢＰ  ＣＦＡ画像３００から低解像度ＲＧＢ  ＣＦＡ画像３１２を作り出す。色差生成ブロック３０８は、低解像度ＲＧＢ  ＣＦＡ画像３１２と、低解像度パンクロ画像３０６とから、低解像度ＣＦＡ色差画像３１４を作り出す。ＣＦＡ色差補間及びサイズ変更ブロック３１６は、低解像度ＣＦＡ色差画像３１４と、低解像度パンクロ画像３０６とから、補正した高解像度色差画像３１８を作り出す。画素アスペクト比補正ブロック３２０は、高解像度パンクロ画像３０４から、補正した高解像度パンクロ画像３２２を作り出す。最後に、色差画像及びパンクロ画像合計ブロック３２４は、補正した高解像度色差画像３１８と、補正した高解像度パンクロ画像３２２とから、エンハンスド・フルカラー画像３２６を作り出す。
【００１８】
図５Ａにおいて、好適な実施形態のブロック３０２（図４）のより詳細な表示を示す。高解像度パンクロ補間ブロック３２８は、ＲＧＢＰ  ＣＦＡ画像３００（図４）から高解像度パンクロ画像３３０を作り出す。高解像度パンクロ画像３３０のコピーは、高解像度パンクロ画像３０４（図４）になる。低解像度パンクロ間引きブロック３３２は、パンクロ画像３３０から低解像度パンクロ画像３０６（図４）を作り出す。
【００１９】
図５Ａにおいて、高解像度パンクロ補間ブロック３２８と、低解像度パンクロ間引きブロック３３２とは、当業者に公知な方法で実行できる。適当な方法は、先に引用した同一出願人による米国特許出願公報第２００７／００２４９３４号と、米国特許出願第１１／５６４４５１号とにおいて教示される。
【００２０】
図５Ｂにおいて、他の実施形態のブロック３０２（図４）のより詳細な表示を示す。高解像度パンクロ補間ブロック３２８は、ＲＧＢＰ  ＣＦＡ画像３００（図４）から高解像度パンクロ画像３０４（図４）を作り出す。低解像度パンクロ補間ブロック３３４は、ＲＧＢＰ  ＣＦＡ画像３００（図４）から低解像度パンクロ画像３０６（図４）を作り出す。高解像度パンクロ補間ブロック３２８は、図５Ａにおいて既に説明している。低解像度パンクロ補間ブロック３３４は、補間したパンクロ画素値の低解像度パンクロ画像を作り出す補間計算の後に、捕捉されたパンクロ画値が自動的に廃棄されることのみが、高解像度パンクロ補間ブロック３２８と異なる。
【００２１】
図６Ａにおいて、好適な実施形態のブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間ブロック３３６は、低解像度ＣＦＡ色差画像３１４（図４）から低解像度色差画像３３８を作り出す。高解像度サイズ変更ブロック３４０は、低解像度色差画像３３８から高解像度色差画像３４２を作り出す。画素アスペクト比補正ブロック３４４は、高解像度色差画像３４２から、補正した高解像度色差画像３１８（図４）を作り出す。
【００２２】
図６Ａにおいて、ＣＦＡ色差補間ブロック３３６は、当業者に公知のいずれかの方法で実行できる。適当な方法は、先に引用した同一出願人による米国特許出願公報第２００７／００２４９３４号と、米国特許出願第１１／５６４４５１号とにおいて教示される。高解像度サイズ変更ブロック３４０は、同一出願人による米国特許出願公報第２００７／００２４９３４号にも記載される標準的なデジタル画像サイズ変更（補間、又は再サンプリング）である。また、画素アスペクト比補正ブロック３４４は、横倍率と縦倍率とが異なるという優れた特徴を有する標準的なデジタル画像サイズ変更である。一例として、図７Ｂの（Ｑ1−ＱC）は、画素アスペクト比を補正した図７Ａの（Ｐ1−ＰC）の変形である。双線形補間を使用すると、画素アスペクト比の計算は、以下のようになる。
【００２３】
【数１】
2010537228.tif 000003
【００２４】
３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることは、当業者には明らかであろう。
【００２５】
図６Ｂにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間ブロック３３６は、低解像度ＣＦＡ色差画像３１４（図４）から低解像度色差画像３３８を作り出す。画素アスペクト比補正ブロック３４６は、低解像度色差画像３３８から、補正した色差画像３４８を作り出す。高解像度サイズ変更ブロック３５０は、補正した色差画像３４８から、補正した高解像度色差画像３１８（図４）を作り出す。
【００２６】
図６Ｂにおいて、ＣＦＡ色差補間ブロック３３６は、図６Ａにおいて先に説明した通りである。画素アスペクト比補正ブロック３４６は、ブロック３４６が低解像度データにおいて操作され、ブロック３４４が高解像度において操作されることを除き、図６Ａの画素アスペクト比補正ブロック３４４と同一である。高解像度サイズ変更ブロック３５０は、ブロック３５０が画素アスペクト比補正データにおいて使用され、ブロック３４０がそうではないことを除き、高解像度サイズ変更ブロック３４０と同一である。
【００２７】
図６Ｃにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間ブロック３３６は、低解像度色差画像３３８から低解像度ＣＦＡ色差画像３１４（図４）を作り出す。高解像度サイズ変更及び画素アスペクト比補正ブロック３５２は、低解像度色差画像３３８から、補正した高解像度色差画像３１８（図４）を作り出す。
【００２８】
図６Ｃにおいて、ＣＦＡ色差補間ブロック３３６は、図６Ａにおいて先に説明した通りである。高解像度サイズ変更及び画素アスペクト比補正ブロック３５２は、高解像度なサイズ変更と、画素アスペクト比の補正とを単一の操作として実行する。ブロック３５２は、横倍率と縦倍率とが異なる標準的なデジタル画像サイズ変更によって遂行される。一例として、図８Ｂの（Ｑ1−Ｑm）は、画素アスペクト比を補正した図８Ａの（Ｐ1−ＰC）の変形である。双線形補間を使用すると、画素アスペクト比の計算は、以下のようになる。
【００２９】
【数２】
2010537228.tif 000004
【００３０】
この計算を拡張して、図８ＢにおけるＱの他の値を作り出す方法は、当業者には明らかであろう。また、３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることも、当業者には明らかであろう。
【００３１】
図６Ｄにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間及び画素アスペクト比補正ブロック３５４は、低解像度ＣＦＡ色差画像３１４（図４）から、補正した低解像度色差画像３５６を作り出す。高解像度サイズ変更ブロック３５８は、補正した低解像度色差画像３５６から、補正した高解像度色差画像３１８（図４）を作り出す。
【００３２】
図６Ｄにおいて、高解像度サイズ変更ブロック３５８は、ブロック３５８が画素アスペクト比補正データにおいて操作されることを除き、高解像度サイズ変更ブロック３４０（図６Ａ）と同一である。ＣＦＡ色差補間及び画素アスペクト比補正ブロック３５４は、補間操作の組み合わせである。一例として、図９Ｂの（Ｑ1−ＱC）は、ＣＦＡを補間し、画素アスペクト比を補正した図９Ａの（Ｒ1−ＧC）の変形である。なお、図９Ａにおいて、画素値はそれぞれ、色差値であり、オリジナルの色の値（original  color  value）ではない。画素Ｑ1とＲ1とは一致するので、Ｑ１の画素アスペクト比を補正する必要はない。したがって、ＣＦＡ補間のみが実行される。標準的な双線形補間が使用される。
【００３３】
【数３】
2010537228.tif 000005
【００３４】
Ｑ2の場合には、ＣＦＡ補間と画素アスペクト比補正の双方が実行される。最終的な計算の決定を説明するために、中間のステップを示す。
【００３５】
【数４】
2010537228.tif 000006
【００３６】
したがって、ブロック３５４による計算を実行して決定されるＱ2の値は、以下の通りである。
【００３７】
【数５】
2010537228.tif 000007
【００３８】
例における他の計算は、以下の通りである。
【００３９】
【数６】
2010537228.tif 000008
【００４０】
３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることは、当業者には明らかであろう。
【００４１】
図６Ｅにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間及び高解像度サイズ変更ブロック３６０は、低解像度ＣＦＡ色差画像３１４（図４）から高解像度色差画像３６２を作り出す。画素アスペクト比補正ブロック３６４は、高解像度色差画像３６２から、補正した高解像度色差画像３１８（図４）を作り出す。
【００４２】
図６Ｅにおいて、画素アスペクト比補正ブロック３６４は、画素アスペクト比補正ブロック３４４（図６Ａ）と同一である。ＣＦＡ色差補間及び高解像度サイズ変更ブロック３６０は、補間操作の組み合わせである。一例として、図１０Ｂの（Ｑ1−ＱG）は、ＣＦＡを補間し、画素アスペクト比を補正した図１０Ａの（Ｒ1−Ｂ4）の変形である。なお、図１０Ａにおいて、画素値はそれぞれ、色差値であり、オリジナルの色の値ではない。画素Ｑ1とＲ1とは一致するので、Ｑ１の画素アスペクト比を補正する必要はない。したがって、ＣＦＡ補間のみが実行される。標準的な双線形補間が使用される。
【００４３】
【数７】
2010537228.tif 000009
【００４４】
Ｑ2の場合には、ＣＦＡ補間と高解像度サイズ変更の双方が実行される。最終的な計算の決定を説明するために、中間のステップを示す。
【００４５】
【数８】
2010537228.tif 000010
【００４６】
したがって、ブロック３６０による計算を実行して決定されるＱ2の値は、以下の通りである。
【００４７】
【数９】
2010537228.tif 000011
【００４８】
例における他の計算は、以下の通りである。
【００４９】
【数１０】
2010537228.tif 000012
【００５０】
３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることは、当業者には明らかであろう。
【００５１】
図６Ｆにおいて、他の実施形態におけるブロック３１６（図４）をより詳細に表すブロックを示す。ＣＦＡ色差補間、高解像度サイズ変更、及び画素アスペクト比補正ブロック３６６は、低解像度ＣＦＡ色差画像３１４（図４）から、補正した高解像度色差画像３１８（図４）を作り出す。ブロック３６６は、補間操作の組み合わせである。一例として、図１１Ｂの（Ｑ1−ＱO）は、ＣＦＡを補間し、ＣＦＡ色差を補間し、画素アスペクト比を補正した図１１Ａの（Ｒ1−Ｇ6）の変形である。なお、図１１Ａにおいて、画素値はそれぞれ、色差値であり、オリジナルの色の値ではない。画素Ｑ1とＲ1とは一致するので、高解像度サイズ変更をする必要はなく、またＱ１の画素アスペクト比を補正する必要はない。したがって、ＣＦＡ補間のみが実行される。標準的な双線形補間が使用される。
【００５２】
【数１１】
2010537228.tif 000013
【００５３】
Ｑ2の場合には、ＣＦＡ補間と、高解像度サイズ変更と、画素アスペクト比補正とが実行される。最終的な計算の決定を説明するために、中間のステップを示す。
【００５４】
【数１２】
2010537228.tif 000014
【００５５】
したがって、ブロック３６０による計算を実行して決定されるＱ2の値は、以下の通りである。
【００５６】
【数１３】
2010537228.tif 000015
【００５７】
例における他の計算は、以下の通りである。
【００５８】
【数１４】
2010537228.tif 000016
【００５９】
３次畳込補間法などの他の補完法を双線形補間の代わりに使用できることは、当業者には明らかであろう。
【００６０】
本発明に係る好適な実施形態において開示された画素アスペクト比補正アルゴリズムは、様々な状況及び環境で採用できる。典型的な状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含むが、これには限定されない。
【００６１】
それぞれの事例において、補間アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザに対する表示、（必要な場合には）ユーザ要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザ入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザ又は操作者の検閲を有することができ、或いはメタデータ（ユーザによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザ・インターフェイス・スキームとインターフェイス接続することができる。
【００６２】
本発明による本明細書中に開示された補間アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。
【符号の説明】
【００６３】
１１０    コンピュータシステム
１１２    マイクロプロセッサベースユニット
１１４    表示装置
１１６    キーボード
１１８    マウス
１２０    表示部上のセレクタ
１２２    ディスクドライブユニット
１２４    コンパクトディスク読み出し専用メモリ（ＣＤ‐ＲＯＭ）
１２６    フロッピー（登録商標）ディスク
１２７    ネットワーク接続
１２８    プリンタ
１３０    パーソナルコンピュータカード（ＰＣカード）
１３２    ＰＣカードリーダ
１３４    デジタルカメラ
１３６    カメラ接続ポート
１３８    ケーブル接続
１４０    無線接続
２００    デジタルカメラ
２０２    ＲＧＢ  ＣＦＡ画像
２０４    ＣＦＡ補間
２０６    フルカラー画像
２０８    画素アスペクト比画像
２１０    補正したフルカラー画像
２１２    デジタルカメラ
２１４    ＲＧＢ  ＣＦＡ画像
２１６    ＣＦＡ補間及びサイズ変更
２１８    サイズ変更したフルカラー画像
３００    ＲＧＢＰ  ＣＦＡ画像
３０２    パンクロ補間
３０４    高解像度パンクロ画像
３０６    低解像度パンクロ画像
３０８    色差生成
３１０    低解像度色間引き
３１２    低解像度ＲＧＢ  ＣＦＡ画像
３１４    低解像度ＣＦＡ色差画像
３１６    ＣＦＡ色差補間及びサイズ変更
３１８    補正した高解像度色差画像
３２０    画素アスペクト比補正
３２２    補正した高解像度パンクロ画像
３２４    色差画像とパンクロ画像との合計
３２６    エンハンスド・フルカラー画像
３２８    高解像度パンクロ補間
３３０    高解像度パンクロ画像
３３２    低解像度パンクロ間引き
３３４    低解像度パンクロ補間
３３６    ＣＦＡ色差補間
３３８    低解像度色差画像
３４０    高解像度サイズ変更
３４２    高解像度色差画像
３４４    画素アスペクト比補正
３４６    高解像度色差画像
３４８    補正した色差画像
３５０    高解像度サイズ変更
３５２    高解像度サイズ変更及び画素アスペクト比補正
３５４    ＣＦＡ色差補間及び画素アスペクト比補正
３５６    補正した低解像度色差画像
３５８    高解像度サイズ変更
３６０    ＣＦＡ色差補間及び高解像度サイズ変更
３６２    高解像度色差画像
３６４    高解像度色差画像
３６６    ＣＦＡ色差補間、高解像度サイズ変更、及び高解像度サイズ変更
【図１】
2010537228.tif 000017
【図２】
2010537228.tif 000018
【図３】
2010537228.tif 000019
【図４】
2010537228.tif 000020
【図５Ａ】
2010537228.tif 000021
【図５Ｂ】
2010537228.tif 000022
【図６Ａ】
2010537228.tif 000023
【図６Ｂ】
2010537228.tif 000024
【図６Ｃ】
2010537228.tif 000025
【図６Ｄ】
2010537228.tif 000026
【図６Ｅ】
2010537228.tif 000027
【図６Ｆ】
2010537228.tif 000028
【図７Ａ】
2010537228.tif 000029
【図７Ｂ】
2010537228.tif 000030
【図８Ａ】
2010537228.tif 000031
【図８Ｂ】
2010537228.tif 000032
【図９Ａ】
2010537228.tif 000033
【図９Ｂ】
2010537228.tif 000034
【図１０Ａ】
2010537228.tif 000035
【図１０Ｂ】
2010537228.tif 000036
【図１１Ａ】
2010537228.tif 000037
【図１１Ｂ】
2010537228.tif 000038
【国際調査報告】
2010537228.tif 000039
2010537228.tif 000040
2010537228.tif 000041