(57)【特許請求の範囲】
【請求項１】
少なくとも３つの別のカラー値を発生するが、各フォトサイト位置に対してカラー値は１つのみである行及び列に整列されたカラーフォトサイトを有する画像センサから得られたデジタル化された画像信号を処理する装置において、それが３つの異なるカラー値を有するように各フォトサイト位置に対するカラー値を補間する手段は、
デジタル化された画像信号を記憶する手段と；フォトサイト位置から失われた、該カラー値が失われた該フォトサイト位置に対する付加的なカラー値を、近接するフォトサイト位置での該失われたカラー値と異なるカラーのカラー値から補間することによって発生する、該記憶手段と共に動作するプロセッサとからなり、
該プロセッサは、
該カラー値が失われた該フォトサイト位置と同じ列又は同じ行にあるフォトサイトから少なくとも２つの画像方向でラプラシアン2次値を得る手段と；
失われたカラー値の補間に対する好ましい方向をラプラシアン2次値に応じて選択する手段と；
該カラー値が失われたフォトサイト位置の付近の、好ましい方向に一致するように選択された複数のカラー値から、失われたカラー値を補間する手段と
からなる画像信号処理装置。
【請求項２】
少なくとも３つの別のカラー値を発生するが、各フォトサイト位置に対してカラー値は１つのみである行及び列に整列された赤、緑、青のカラーフォトサイトを有する画像センサから得られたデジタル化された画像信号を処理する装置において、それが３つの異なるカラー値を有するように各フォトサイト位置に対するカラー値を補間する手段は、
デジタル化された画像信号を記憶する手段と；フォトサイト位置から失われた、該カラー値が失われた該フォトサイト位置に対する付加的なカラー値を、近接するフォトサイト位置での該失われたカラー値と異なるカラーのカラー値から補間することによって発生する、該記憶手段と共に動作するプロセッサと
からなり、
該プロセッサは、
該カラー値が失われた該フォトサイト位置と同じ列又は同じ行にあるフォトサイトから少なくとも２つの画像方向でラプラシアン2次値を得る手段と；
失われたカラー値の補間に対する好ましい方向をラプラシアン2次値に応じて選択する手段と；
該カラー値が失われたフォトサイト位置の付近の、好ましい方向に一致するように選択された複数のカラー値から、失われたカラー値を補間する手段とからなり、
該補間手段においては、該補間される失われたカラーと同じ、該失われたカラー値を有する該フォトサイト位置に隣接するフォトサイトのカラー値が、該補間される失われたカラーとは異なる、該失われたカラー値を有する該フォトサイト位置に隣接するフォトサイトのカラー値により平均され、補正されることを特徴とする画像信号処理装置。
【発明の詳細な説明】
【０００１】
関連する出願の相互参照
Ｊｏｈｎ  Ｆ．Ｈａｍｉｌｔｏｎ，Ｊｒ．及びＪａｍｅｓ  Ｅ．Ａｄａｍｓ，Ｊｒ．により本出願と同時に出願された１９９５年３月１７日出願の米国特許出願０８／４０７４２３を参照し、その開示を参考として引用する。
【０００２】
【発明の属する技術分野】
本発明は電子画像に関し、より詳細には単一のカラーセンサ及びメモリを有する電子スチルカメラによる電子スチル画像に関する。
【０００３】
【従来の技術】
電子カラー画像では通常赤、緑、青である３つのカラー面で画像データを同時に捕捉することが望ましい。３つのカラー面が結合されているときに高品質カラー画像を形成しうる。これら３つの画像の組を捕捉することは多くの方法でなされうる。電子写真でこれは赤、緑、青のフィルターにより覆われたセンサの単一の２次元配列を用いることにより達成される。このセンサの型はカラーフィルター配列又はＣＦＡとして知られている。以下にＣＦＡセンサ上に一般的に配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）画素を示す。
【０００４】
カラー画像がＣＦＡを用いて捕捉されたときに各センサ位置に対する３つのカラー値全ての推定がなされるよう赤、緑、青の値を補間する必要がある。いったん補間がなされると、各画像の要素、又は画素は３つのカラー値を有し、システムの必要に依存して種々の知られた画像処理技術により処理されうる。処理に対する理由の例は画像の鮮明化、カラー補正又はハーフトーン化をなすことである。
【０００５】
以下にどのようにして赤、緑、青の画素がカラーフィルター配列内に配列されるかを示す。より詳細な記載はＢａｙｅｒの米国特許第３９７１０６５号を参照すること。
【０００６】
【数１】
0003871072.tif 000002
【０００７】
【発明が解決しようとする課題】
本発明の目的はＣＦＡでの失われた画素値を推定する改善された装置を提供することにある。
【０００８】
【課題を解決するための手段】
この目的は少なくとも３つの別のカラー値を発生するが、各フォトサイト位置に対してカラー値は１つのみである行及び列に整列されたカラーフォトサイトを有する画像センサから得られたデジタル化された画像信号を処理する装置において、それが３つの異なるカラー値を有するように各フォトサイト位置に対するカラー値を補間する手段は、
デジタル化された画像信号を記憶する手段と；
フォトサイト位置に近接して失われたカラー値と異なるカラーのカラー値からそのようなフォトサイト位置に対する付加的なカラー値の補間によりフォトサイト位置から適切な失われたカラー値を形成する該記憶手段と共に動作するプロセッサとからなり、
該プロセッサは、
同じ列及び行の付近のフォトサイトから少なくとも２つの画像方向でラプラシアン２次値を得る手段と；
失われたカラー値の補間に対する好ましい方向を選択するためにラプラシアン２次値に応答する手段と；
好ましい方向に一致するように選択された複数のカラー値の付近から失われたカラー値を補間する手段と
からなる画像信号処理装置により達成される。
【０００９】
【発明の実施の形態】
カラーフィルタ配列を用いる単一センサの電子カメラはよく知られており、この記述は本発明による装置及び方法の一部を形成し、又はとより直接に協働する要素に特に関する。ここに特に示さない、又は記載されない要素は当業者により選択されうるものである。
【００１０】
図１及び２をまず参照するに電子スチルカメラは一般に入力部分２及び補間及び記録部分４に分割される。入力部分２は対象（図示せず）からの画像光線を画像センサ１２へ導く。これも図示しないが、露出部分１０はダイアフラムを介して画像光線を導く従来技術の光学系を含み、これは光学的開口を制御し、また露出時間を制御するシャッターを含む。画像の画素に対応するフォトサイトの２次元配列を含む画像センサ１２は従来技術の電荷結合デバイス（ＣＣＤ）であり、よく知られたライン間移動又はフレーム移動技術を用いる。画像センサ１２はＢａｙｅｒアレイとして知られているカラーフィルタ配列（ＣＦＡ）により覆われ、それは米国特許第３９７１０６５号に記載され、ここにそれを参考として引用する。Ｂａｙｅｒ構造では各カラーはフォトサイト又はセンサの画像要素（画素）を覆う。特にクロミナンスカラー（赤及び青）は輝度カラー（緑）のチェッカー盤模様の間に散在される。画像センサ１２は画像光線に曝され、それによりアナログ画像電荷情報がそれぞれのフォトサイトで発生する。電荷情報は出力ダイオード１４に印加され、それはそれぞれの画素に対応するアナログ画像信号に対する電荷情報に変換する。アナログ画像信号はＡ／Ｄ変換器１６に印加され、それは各画素に対するアナログ入力信号からデジタル画像信号を形成する。デジタル信号は画像バッファ１８に印加され、それは複数のスチル画像を記憶する容量を有するランダムアクセスメモリ（ＲＡＭ）である。
【００１１】
制御プロセッサ２０は一般に初期及び制御露出により（露出部分２０でのダイアフラム及びシャッター（図示せず）による操作による）カメラの入力部分２を制御し、それは画像センサ１２を駆動し、それからの画像情報をクロッキングするのに必要な水平及び垂直クロックを発生すること及び、Ａ／Ｄ変換器１６が画像バッファ１８と結合することで各信号部分を画素に関係させることを可能にすることによりなされる（制御プロセッサ２０は通常システムタイミング回路と結合されたマイクロプロセッサを含む）。いったんある数のデジタル画像信号が画像バッファ１８に集積されると、記憶された信号はデジタル信号プロセッサ２２に印加され、これはカメラの補間及び記録部分４に対するスループット処理速度を制御する。デジタル信号プロセッサ２２は補間アルゴリズムをデジタル画像信号に対して適用し、補間された信号をコネクタ２６を介して従来技術の除去可能なメモリカード２４に送る。
【００１２】
補間及び関連した処理は通常幾つかの段階で生じる故に処理アルゴリズムの中間的な生成物は処理バッファ２８に記憶される（処理バッファ２８はまた画像バッファ１８のメモリ空間の部分として構成される）。デジタル処理の前に画像バッファ１８で必要な画像信号の数は処理の型に依存して開始され、即ち開始する隣接補間に対してビデオフレームからなる画像信号の少なくとも一部分を含む信号のブロックは利用されなければならない。従ってほとんどの場合において補間は画素の必要なブロックがバッファ１８に現れるとすぐに開始される。
【００１３】
入力部分２は補間の間はカメラの通常の動作と比例した速度で動作し、これはより多くの時間を消費し、入力速度から比較的分離されうる。露出部分１０は露出要求に依存する、例えば１／１０００秒と数秒の間の時間だけ画像センサ１２を画像光線に対して露出する。それから画像電荷は画像センサ１２でフォトサイトから掃引され、デジタルフォーマットに変換され、画像バッファ１８に書き込まれる。駆動信号は制御プロセッサ２０により画像センサ１２へ供給され、従ってＡ／Ｄ変換器１６及びバッファ１８はそのような移動を達成するように形成される。補間及び記録部分４の処理スループット速度はデジタル信号プロセッサ２２の速度により決定される。
【００１４】
このアーキテクチャーの一つの望ましい成果は補間及び記録部分で用いられた処理アルゴリズムはスループット速度に対するよりむしろ画像の品質保持に対して選択されることである。無論これは写真撮影間の時間に依存してユーザーに影響する連続する画像間の遅延をもたらす。それはデジタルスチルカメラは一連の連続した画像の連続撮影能力を提供すべきであると電子画像化の分野でよく知られ、理解されている故に問題である。この理由により、図１に示されるバッファ１８は複数の画像の記憶を提供し、一連の画像をビデオレートで「蓄積（スタックアップ）」することを実質的に許容する。バッファの大きさはほとんどの画像撮影状況に適用されるために連続した充分な画像を保持することを確立する。
【００１５】
操作表示パネル３０はカメラの操作に有用な情報を表示する制御プロセッサ２０に接続される。そのような情報はシャッター速度、絞り値、露出バイアス、カラーバランス（自動、タングステン、蛍光灯、昼光）、フィールド／フレーム、バッテリー低下、低照度、露出モード（絞り優先、シャッター優先）、等々の典型的な写真データを含む。更にまたカメラのこの型に独特の他の情報も表示される。例えば着脱可能メモリカード２４は各記憶された画像の最初と最後を示す番地を通常含む。これは記憶された画像の数又は、残り又は残っていると推定される画像空間の数のいずれか（又は両方）を表示パネル３０上に示す。
【００１６】
デジタル信号プロセッサ２２は図２に示される補間技術により画像バッファ１８に記憶される各ビデオ画像を補間する。各画素位置での失われたデータ値の補間は図２に示されるシーケンスを辿る；即ち最初に「失われた緑」画素に対する高周波数情報（即ち赤及び青画素位置）は輝度表現を改善するよう補間され、第二にカラー差情報はＣＦＡパタンの他のカラーを形成する双線形方法により高周波数位置補間される。図２に示される例では適応補間技術が水平及び垂直端を有する画像に対するシステムの性能を最適化する輝度部分３６で用いられる。「失われた緑」画素はそのまわりで垂直及び水平でのクロミナンス（赤及び青）画素位置間で確立された傾斜に依存するように水平、垂直、又は２次元のいずれかで適応的に補間される。
【００１７】
「失われた緑」画素を適応的に補間する第一の段階は補間方法を選択することである。この処理の詳細は図３のブロック４０に示される。上記からレベル１、２、３に分割される１０のラプラシアンがある。レベル１のラプラシアンは最も成功しそうな補間方法に対応する。デフォルトの方法は最も用いられそうもないものである。ラプラシアンは最もありそうな条件は処理の早期に受け入れ可能であり、それ故に平均処理時間を最小に保つ。
【００１８】
処理はレベル１のラプラシアン（ブロック１）の計算から始まり、次にそれらのどれが最小絶対値を有するかを探す（ブロック５２）。この値はそれの対応する方法が選択されるべきかどうかを見るためにレベル１の閾値（６０がうまく動作する）と比較される（ブロック５４）。値が閾値より小さい場合には対応する方法が選択され（ブロック７６）、ブロック４０が終了する。値が閾値より大きいか等しい場合にはレベル２のラプラシアンが計算される（ブロック６０）。それから最小の絶対値がレベル１及び２のラプラシアンの両方の中から探される（ブロック６２）。この値はそれの対応する方法が選択されるべきかどうかを見るためにレベル２の閾値（７０がうまく動作する）と比較される（ブロック６４）。値が閾値より小さい場合には対応する方法が選択され（ブロック７６）、ブロック４０が終了する。値が閾値より大きいか等しい場合にはレベル３のラプラシアンが計算される（ブロック７０）。再び最小の絶対値がレベル１、２及び３のラプラシアンの中から探される（ブロック７２）。この値はそれの対応する方法が選択されるべきかどうかを見るためにレベル３の閾値（２５０がうまく動作する）と比較される（ブロック７４）。値が閾値より小さい場合には対応する方法が選択され（ブロック７６）、ブロック４０が終了する。値が閾値より大きいか等しい場合にはデフォルト補間方法が選択され（ブロック７８）、ブロック４０は終了する。
【００１９】
補間段階（ブロック４４）は図４に示されるように２つの部分を有する。第一の部分（ブロック８０）は選択された補間方法に対応する２つの輝度（緑）値を平均する。第二の部分（ブロック８２）は問題の画素がＢａｙｅｒカラーフィルター配列内の赤又は青フィルタにより覆われるかどうかに依存して赤又は青の隣接する値のいずれかに基づく補正係数を加える。
【００２０】
カラー差はこの位置での実際のカラー画素から各クロミナンス画素位置で補間された緑の値を引くことによりクロマ部分３８で計算される。最終的に各輝度画素位置に対するカラー差はブロック４８で二次元双線形補間を用いて補間される。この時点でのデータはそれの元の成分（ＲＧＢ）内で再構成され、又は更なる処理に対してカラー差信号として残される。
【００２１】
より特徴的には以下はＢａｙｅｒ配列を用いた特定の例に対するデジタル信号プロセッサの動作の詳細な説明である。
緑平面補間
以下の部分的な５ｘ５画素近傍を考える。
【００２２】
【数２】
0003871072.tif 000003
【００２３】
Ｇ５を推定したい。以下の関係
Ｇi−Ｒi＝一定
は５ｘ５領域で概略真であると仮定する。以下はＧ５の２つの推定器である。
【００２４】
【数３】
0003871072.tif 000004
【００２５】
この考えを延長すると、近傍内の中心の３ｘ３領域からの情報を用いる９の他の推定器がある。
【００２６】
【数４】
0003871072.tif 000005
【００２７】
これらの場合全てで問題はＲ２，Ｒ４，Ｒ６が未知であることである。本発明によれば赤の層での空間情報は緑の層より視覚的に重要でないことを仮定している。Ｒ２，Ｒ４，Ｒ６，Ｒ８を簡単な近似で置き換える：
【００２８】
【数５】
0003871072.tif 000006
【００２９】
（１２）から（１５）を（１）から（１１）内に置き換え、再整理した結果が以下に示す推定器である：
【００３０】
【数６】
0003871072.tif 000007
【００３１】
赤の「補正」項は（１６）から（２１）及び（２６）で実際にラプラシアン２次導関数演算子であり、（２２）から（２５）で１次導関数演算子である。
ＲｓとＢｓとが５ｘ５近傍で置き換えられる場合には（１６）から（２６）でＲｓに対してＢｓを単純に置き換えることは求める推定器を提供することである。
【００３２】
残りのタスクは与えられた近傍に対する最良又は少なくとも受容可能な良い推定器を得ることである。
第一に（１６）、（１７）に対する赤の補正項が計算される。より小さな絶対値を有する項が所定の閾値（８ビットの対数空間で６９を用いる）より小さい場合には対応する推定器が用いられる。以下に疑似コードを示す。
【００３３】
【数７】
0003871072.tif 000008
【００３４】
両方のテストが失敗した場合には補正の次の「設定」、即ち（１８）から（２１）に対する赤の項が計算される。これらの項の絶対値の最小値が所定の閾値（８ビット対数空間で１７０を用いる）より小さい場合には対応する推定器が用いられる。以下を参照：
【００３５】
【数８】
0003871072.tif 000009
【００３６】
画素がそれまでの全てのテストで失敗した場合には（２２）から（２５）の赤の補正項は計算され、所定の閾値に対して再びテストされる。（８ビット対数空間で２５０を用いる。）最小絶対値補正がその閾値を通過する場合にはその対応する推定器が用いられる。以下を参照。
【００３７】
【数９】
0003871072.tif 000010
【００３８】
最終的に全てのテストが失敗した場合には推定器（２６）が用いられる。
赤及び青平面補間
以下の３ｘ３近傍を考える。
【００３９】
【数１０】
0003871072.tif 000011
【００４０】
全ての緑は知られている。再び以下の関係
Ｇi−Ｒi＝一定
は３ｘ３近傍で概略真であると仮定する。まばらな最初のデータの利用性によりほとんどの推定器が通常明確でない。Ｒ２を考えると：
【００４１】
【数１１】
0003871072.tif 000012
【００４２】
これは再整理されたときには以下のようになる。
【００４３】
【数１２】
0003871072.tif 000013
【００４４】
同様にＲ４に対して：
【００４５】
【数１３】
0003871072.tif 000014
【００４６】
最初にＲ２，Ｒ４，Ｒ６，Ｒ８を推定する場合にはそれらを（１６）から（２６）での推定Ｒ５に対して用いる。
【００４７】
【数１４】
0003871072.tif 000015
【００４８】
青平面再構成は同様な方法でなされる。  残る問題は緑平面と同じである：与えられた近傍に対する最良（又は充分に良い）推定器をいかにして決定するかである。
（３０）から（３２）が適用される場合には以下のアルゴリズムが用いられる。再び閾値は計算に対して８ビット対数空間でなされる：
【００４９】
【数１５】
0003871072.tif 000016
【００５０】
（３３）から（３５）の使用は同様である。（３６）から（４６）の使用は（１６）から（２６）の使用と同様である。
本発明はそれの好ましい実施例を特に参照して詳細に説明されたが、改良及び変更は本発明の精神及び範囲内で有効である。
【００５１】
【発明の効果】
本発明の利点は１）近傍分類の豊富な組は以前の方法ではより不満足に扱われたスペキュラーなハイライトのような適切な再構成が困難な画像要素に対して必要とされる自由度を提供し、２）実行時間及びメモリー記憶容量の両方で計算上効率的である。
【図面の簡単な説明】
【図１】本発明による補間処理を用いる電子スチルカメラのブロック図である。
【図２】本発明に関連して用いられる補間処理技術の処理方法のブロック図である。
【図３】図２での輝度補間部分の処理方法の詳細ブロック図である。
【図４】図２でのクロミナンス部分の処理方法のより詳細なブロック図である。
【符号の説明】
２  入力部分
４  記録部分
１０  露出部分
１２  画像センサ
１４  出力ダイオード
１６  Ａ／Ｄ変換器
１８  画像バッファ
２０  制御プロセッサ
２２  デジタル信号プロセッサ
２４  着脱可能メモリカード
２６  コネクタ
２８  処理バッファ
３０  表示パネル
３６  輝度部分
３８  クロマ部分
４０  最良の補間を選択
４４  失われたルマ値を補間
４６  実際のカラー差を計算
４８  カラー差を補間
【図１】
0003871072.tif 000017
【図２】
0003871072.tif 000018
【図３】
0003871072.tif 000019
【図４】
0003871072.tif 000020