(57)【要約】色平面補間のための方法および装置が提供され、その方法および装置は、エッジ方向と画素が画像内のエッジに存在するかどうかとに応じて別々に、画素の色値を補間する。カラーパターン内に存在するそれぞれの色の補間中にエッジ検出を使用することは、公知のデモザイク処理技術においてよく見られる画像鮮鋭度の低下という欠点を相当減少させるのを助ける。【選択図】図７
2009522864.tif 000002
【特許請求の範囲】
【請求項１】
画像画素のための色平面補間の方法であって、
処理するための画素を選択するステップと、
前記選択された画素に関連する近傍画素からなるカーネルを形成するステップと、
前記選択された画素が画像内のエッジに存在するかどうかを判定し、かつ、そのようなエッジの方向を決定するステップと、
前記近傍画素と、前記選択された画素が前記エッジに存在するかどうかと、前記エッジの前記方向とに基づいて、カラーパターンのそれぞれの色ごとに前記選択された画素に対する値を生成するステップと、
を含む方法。
【請求項２】
前記カーネル内に存在するすべての画素に対して前記カラーパターンの中の１つの色の画素値を計算し、前記１つの色の計算されたカーネル画素値を用いて、前記エッジ方向を決定する動作をさらに含む請求項１に記載の方法。
【請求項３】
前記決定されたエッジ方向に基づいて、前記カーネル内に存在する少なくとも１つの画素値を再計算するステップをさらに含む請求項２に記載の方法。
【請求項４】
前記カラーパターンが、ベイヤーパターンである請求項１に記載の方法。
【請求項５】
前記１つの色が、緑である請求項２に記載の方法。
【請求項６】
前記少なくとも１つのカーネル値を計算する前記動作が、前記エッジ方向が水平方向または垂直方向であると決定された場合に限り、再計算される請求項２に記載の方法。
【請求項７】
前記エッジが存在するかどうかを判定する前記ステップが、
同じ色を有する画素の様々な対における差分値を計算するステップと、
最も大きな差分値を予め定められたしきい値と比較するステップと、
を含む請求項１に記載の方法。
【請求項８】
前記対の画素が、前記画素を含んでもよい請求項７に記載の方法。
【請求項９】
画像画素センサーからなる感知アレイを含むカラー撮像装置であって、
第１の色の感知された値を生成するのに使用される第１の複数の画像画素センサーと、
第２の色の感知された値を生成するのに使用される第２の複数の画像画素センサーと、
第３の色の感知された値を生成するのに使用される第３の複数の画像画素センサーと、
選択された画素と近傍画素とを含む前記第１の色のための画素カーネル内に存在する複数の画像画素に対する第１のセットの画素値を決定するために前記第１の色の前記感知された値を使用し、前記カーネル値を用いて前記選択された画素にエッジが存在するかどうかを判定し、前記カーネル値と、前記近傍画素と、エッジ方向とに基づいて、前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する補間値を計算するための補間手段と、
前記第１の色、前記第２の色、および、前記第３の色の補間された値を用いて代表的な画像を生成する手段と、
を含むカラー撮像装置。
【請求項１０】
前記補間手段が、さらに、前記選択された画素が前記エッジに存在するかどうかを判定する請求項９に記載のカラー撮像装置。
【請求項１１】
前記画素カーネル内に存在する少なくとも１つの値が、前記補間値が計算される前に、前記エッジ方向に基づいて再計算される請求項１０に記載のカラー撮像装置。
【請求項１２】
前記画素カーネルが、画素の３×３カーネルである請求項９に記載のカラー撮像装置。
【請求項１３】
前記エッジ方向が、
ＤＩＲｈｏｒｉｚｏｎｔａｌ＝ｍａｘ（｜Ｓ１−Ｓ２｜，｜Ｓ２−Ｓ３｜）、
ＤＩＲｖｅｒｔｉｃａｌ＝ｍａｘ（｜Ｓ４−Ｓ５｜，｜Ｓ５−Ｓ６｜）、
ＤＩＲｄｉａｇｏｎａｌ１＝ｍａｘ（｜Ｓ７−Ｓ８｜，｜Ｓ８−Ｓ９｜）、
ＤＩＲｄｉａｇｏｎａｌ２＝ｍａｘ（｜Ｓ１０−Ｓ１１｜，｜Ｓ１１−Ｓ１２｜）、のようにして計算され、ここで、Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０、Ｓ１１、および、Ｓ１２は、前記カーネルを用いて、
Ｓ１＝ｇ１１＋ｇ１２＋ｇ１３、
Ｓ２＝ｇ２１＋ｇ２２＋ｇ２３、
Ｓ３＝ｇ３１＋ｇ３２＋ｇ３３、
Ｓ４＝ｇ１１＋ｇ２１＋ｇ３１、
Ｓ５＝ｇ１２＋ｇ２２＋ｇ３２、
Ｓ６＝ｇ１３＋ｇ２３＋ｇ３３、
Ｓ７＝ｇ２１＋ｇ１１＋ｇ１２、
Ｓ８＝ｇ１３＋ｇ２２＋ｇ３１、
Ｓ９＝ｇ２３＋ｇ３２＋ｇ３３、
Ｓ１０＝ｇ２１＋ｇ３１＋ｇ３２、
Ｓ１１＝ｇ１１＋ｇ１３＋ｇ３３、
Ｓ１２＝ｇ１２＋ｇ１３＋ｇ２３、
のようにして計算され、ここで、ｇ１１、ｇ１２、および、ｇ１３は、前記カーネルの第１の行の画素値であり、ｇ２１、ｇ２２、および、ｇ２３は、前記カーネルの第２の行の画素値であり、ｇ３１、ｇ３２、および、ｇ３３は、前記カーネルの第３の行の画素値であり、そして、前記エッジ方向は、最も大きな値を有する方向である、
請求項１０に記載のカラー撮像装置。
【請求項１４】
前記エッジが、前記近傍画素の差分値を計算し、そして、最大差分値をエッジしきい値と比較することによって検出される請求項９に記載のカラー撮像装置。
【請求項１５】
前記選択された画素が緑である場合、前記差分値が、
Ｄ１＝｜Ｐｘ＋１，ｙ＋１−Ｐｘ−１，ｙ＋１｜、
Ｄ２＝｜Ｐｘ，ｙ−Ｐｘ，ｙ＋２｜、
Ｄ３＝｜Ｐｘ−１，ｙ−Ｐｘ＋１，ｙ＋２｜、
Ｄ４＝｜Ｐｘ，ｙ−１−Ｐｘ＋２，ｙ＋１｜、
Ｄ５＝｜Ｐｘ＋１，ｙ−Ｐｘ−１，ｙ＋２｜、
Ｄ６＝｜Ｐｘ＋２，ｙ−１−Ｐｘ，ｙ＋１｜、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項１４に記載のカラー撮像装置。
【請求項１６】
前記選択された画素が、赤かまたは青である場合、前記差分値が、
Ｄ１＝｜Ｐｘ＋１，ｙ＋１−Ｐｘ−１，ｙ＋１｜、
Ｄ２＝｜Ｐｘ＋１，ｙ＋１−Ｐｘ−１，ｙ−１｜、
Ｄ３＝｜Ｐｘ，ｙ＋１−Ｐｘ，ｙ−１｜、
Ｄ４＝｜Ｐｘ＋１，ｙ−Ｐｘ−１，ｙ｜、
Ｄ５＝｜Ｐｘ，ｙ−Ｐｘ，ｙ−２｜、
Ｄ６＝｜Ｐｘ，ｙ−Ｐｘ，ｙ＋２｜、
Ｄ７＝｜Ｐｘ，ｙ−Ｐｘ＋２，ｙ｜、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項１４に記載のカラー撮像装置。
【請求項１７】
前記画素が緑である場合、前記３×３カーネルが、
ｇ１１＝Ｐｘ−１，ｙ−１、
ｇ１２＝ＭＥＤＩＡＮ（Ｐｘ−２，ｙ，Ｐｘ−１，ｙ−１，Ｐｘ，ｙ，Ｐｘ，ｙ＋１）、
ｇ１３＝Ｐｘ−１，ｙ＋１、
ｇ２１＝ＭＥＤＩＡＮ（Ｐｘ＋１，ｙ＋１，Ｐｘ，ｙ＋２，Ｐｘ，ｙ，Ｐｘ−１，ｙ＋１）、
ｇ２２＝Ｐｘ，ｙ、
ｇ２３＝ＭＥＤＩＡＮ（Ｐｘ＋１，ｙ＋１，Ｐｘ＋２，ｙ，Ｐｘ，ｙ，Ｐｘ＋１，ｙ−１）、
ｇ３１＝Ｐｘ＋１，ｙ−１、
ｇ３２＝ＭＥＤＩＡＮ（Ｐｘ，ｙ−２，Ｐｘ−１，ｙ−１，Ｐｘ，ｙ，Ｐｘ＋１，ｙ−１）、
ｇ３３＝Ｐｘ＋１，ｙ＋１、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項１２に記載のカラー撮像装置。
【請求項１８】
前記画素が、赤かまたは青である場合、前記３×３カーネルが、
ｇ１１＝ＭＥＤＩＡＮ（Ｐｘ−１，ｙー２，Ｐｘ−２，ｙ−１，Ｐｘ−１，ｙ，Ｐｘ，ｙ−１）、
ｇ１２＝Ｐｘ−１，ｙ、
ｇ１３＝ＭＥＤＩＡＮ（Ｐｘ−２，ｙ＋１，Ｐｘ−１，ｙ＋２，Ｐｘ−１，ｙ，Ｐｘ，ｙ＋１）、
ｇ２１＝Ｐｘ，ｙ−１、
ｇ２２＝ＭＥＤＩＡＮ（Ｐｘ，ｙ−１，Ｐｘ−１，ｙ，Ｐｘ＋１，ｙ，Ｐｘ，ｙ＋１）、
ｇ２３＝Ｐｘ＋１，ｙ＋１、
ｇ３１＝ＭＥＤＩＡＮ（Ｐｘ＋１，ｙ−２，Ｐｘ，ｙ−１，Ｐｘ，ｙ＋１，Ｐｘ＋２，ｙ−１）、
ｇ３２＝Ｐｘ＋１，ｙ、
ｇ３３＝ＭＥＤＩＡＮ（Ｐｘ，ｙ＋１，Ｐｘ＋１，ｙ＋２，Ｐｘ＋１，ｙ，Ｐｘ＋２，ｙ＋１）、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項１２に記載のカラー撮像装置。
【請求項１９】
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が緑でありかつエッジが存在しない場合、
Ｒｘ，ｙ＝（Ｐｘ−１，ｙ＋Ｐｘ＋１，ｙ＋Ｐｘ−１，ｙ＋２＋Ｐｘ＋１，ｙ＋２）
／４、
Ｂｘ，ｙ＝（Ｐｘ，ｙ−１＋Ｐｘ，ｙ＋１＋Ｐｘ＋２，ｙ＋１＋Ｐｘ＋２，ｙ−１）／４、
Ｇｘ，ｙ＝（Ｐｘ，ｙ＋Ｐｘ，ｙ＋２＋Ｐｘ＋１，ｙ−１＋Ｐｘ−１，ｙ＋１）／４、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項９に記載のカラー撮像装置。
【請求項２０】
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が青でありかつエッジが存在しない場合、
Ｒｘ，ｙ＝（Ｐｙ＋１，ｘ＋１＋Ｐｘ＋１，ｙ−１＋Ｐｘ−１，ｙ＋１＋Ｐ３ｘ−１，ｙ−１）／４、
Ｂｘ，ｙ＝（Ｐｘ，ｙ＋Ｐｘ，ｙ−１＋Ｐｘ，ｙ＋２＋Ｐｘ＋２，ｙ）／４、
Ｇｘ，ｙ＝（Ｐｘ，ｙ−１＋Ｐｘ−１，ｙ＋Ｐｘ，ｙ＋１＋Ｐｘ＋１，ｙ）／４、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項９に記載のカラー撮像装置。
【請求項２１】
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が赤でありかつエッジが存在しない場合、
Ｂｘ，ｙ＝（Ｐｙ＋１，ｘ＋１＋Ｐｘ＋１，ｙ−１＋Ｐｘ−１，ｙ＋１＋Ｐ３ｘ−１，ｙ−１）／４、
Ｒｘ，ｙ＝（Ｐｘ，ｙ＋Ｐｘ，ｙ−１＋Ｐｘ，ｙ＋２＋Ｐｘ＋２，ｙ）／４、
Ｇｘ，ｙ＝（Ｐｘ，ｙ−１＋Ｐｘ−１，ｙ＋Ｐｘ，ｙ＋１＋Ｐｘ＋１，ｙ）／４、
のようにして計算され、ここで、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項９に記載のカラー撮像装置。
【請求項２２】
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が緑でありかつエッジが存在する場合、
Ｒｘ，ｙ＝（Ｐｘ−１，ｙ＋Ｐｘ＋１，ｙ）／２＋ＤＥＬＴＡｒｅｄ、
Ｂｘ，ｙ＝（Ｐｘ，ｙ−１＋Ｐｘ，ｙ＋１）／２＋ＤＥＬＴＡｂｌｕｅ、
Ｇｘ，ｙ＝ｇ２２、
のようにして計算され、ここで、ｇ２２、および、補正項ＤＥＬＴＡｒｅｄおよびＤＥＬＴＡｂｌｕｅは、前記カーネル値に基づいて計算され、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項９に記載のカラー撮像装置。
【請求項２３】
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が青でありかつエッジが存在する場合、
Ｒｘ，ｙ＝（Ｐｘ＋１，ｙ＋１＋Ｐｘ＋１，ｙ−１＋Ｐｘ−１，ｙ＋１＋Ｐｘ−１，ｙ−１）／４＋ＤＥＬＴＡｒｅｄ、
Ｂｘ，ｙ＝Ｐｘ，ｙ、
Ｇｘ，ｙ＝ｇ２２、
のようにして計算され、ここで、ｇ２２、および、補正項ＤＥＬＴＡｒｅｄは、前記カー
ネル値に基づいて計算され、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項９に記載のカラー撮像装置。
【請求項２４】
前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する前記計算された補間値が、前記選択された画素が赤でありかつエッジが存在する場合、
Ｂｘ，ｙ＝（Ｐｘ＋１，ｙ＋１＋Ｐｘ＋１，ｙ−１＋Ｐｘ−１，ｙ＋１＋Ｐｘ−１，ｙ−１）／４＋ＤＥＬＴＡｒｅｄ、
Ｒｘ，ｙ＝Ｐｘ，ｙ、
Ｇｘ，ｙ＝ｇ２２、
のようにして計算され、ここで、ｇ２２およびＤＥＬＴＡｒｅｄは、前記カーネル値に基づいて計算され、Ｐｘ，ｙは、前記選択された画素であり、“ｘ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである行を意味し、“ｙ”は、画素が前記選択された画素Ｐｘ，ｙに対して相対的なものである列を意味する、請求項９に記載のカラー撮像装置。
【請求項２５】
処理システムであって、
画像画素センサーからなるアレイを含む撮像装置を含み、
前記撮像装置が、
第１の色の感知された値を生成するのに使用される第１の複数の画像画素センサーと、
第２の色の感知された値を生成するのに使用される第２の複数の画像画素センサーと、
第３の色の感知された値を生成するのに使用される第３の複数の画像画素センサーと、
選択された画素と近傍画素とを含む前記第１の色のための画素カーネル内に存在する複数の画像画素に対する第１のセットの画素値を決定するために前記第１の色の前記感知された値を使用し、前記カーネル値を用いて前記選択された画素にエッジが存在するかどうかを判定し、前記カーネル値と、前記近傍画素と、前記選択された画素のエッジ方向とに基づいて、前記選択された画素の前記第１の色、前記第２の色、および、前記第３の色に対する補間値を計算するための補間処理回路と、
を含むことを特徴とする、処理システム。
【請求項２６】
前記補間手段が、さらに、前記選択された画素が前記エッジに存在するかどうかを判定する請求項２５に記載の処理システム。
【請求項２７】
前記エッジが、前記カーネル値を用いて計算される請求項２５に記載の処理システム。
【請求項２８】
前記画素カーネルに含まれる少なくとも１つの値が、前記エッジ方向に基づいて再計算される請求項２５に記載の処理システム。
【請求項２９】
ディジタルカラー信号を処理する方法であって、
赤スペクトル、青スペクトル、および、緑スペクトルの中の１つである波長を備えた印加光に対応する複数の画素センサーのそれぞれから感知された値を得る動作と、
前記感知された値を用いて決定されたエッジ検出と補正項とに基づいて、前記複数の画素センサーのそれぞれに対して、赤値、青値、および、緑値を補間する動作と、
を含む方法。
【請求項３０】
前記赤値、前記緑値、および、前記青値の前記補間が、
前記複数の画素センサーのそれぞれに対して、近傍緑画素センサーの画素値を用いて補間値の緑カーネルを計算するステップと、
前記画素センサーのそれぞれがエッジに存在するかどうかを判定するステップと、
をさらに含む請求項２９に記載の方法。
【請求項３１】
補間値の前記緑カーネルを用いてエッジ方向を決定するステップをさらに含む請求項２９に記載の方法。
【請求項３２】
前記画素がエッジに存在するかどうかを判定する前記ステップが、
同じ色を有する近傍画素の様々な対における差分値を計算するステップと、
最も大きな差分値を予め定められたしきい値と比較するステップと、
を含む請求項３０に記載の方法。
【請求項３３】
コンピュータがカラーパターンのための色平面補間を実行するのを可能にするためのコンピュータ命令を記憶するためのコンピュータ可読媒体であって、
赤スペクトル、青スペクトル、および、緑スペクトルの中の１つである波長を備えた印加光に対応する複数の画素センサーのそれぞれから感知された値を得るステップと、
前記感知された値を用いて決定されたエッジ検出と補正項とに基づいて、前記複数の画素センサーのそれぞれに対して、赤値、青値、および、緑値を補間するステップと、
を含むコンピュータ可読媒体。
【請求項３４】
前記赤値、前記緑値、および、前記青値の前記補間が、
前記複数の画素センサーのそれぞれに対して、一セットの近傍緑画素センサーを用いて補間値の緑カーネルを計算するステップと、
前記複数の画素センサーのそれぞれに対して、前記画素がエッジに存在するかどうかを判定するステップと、
をさらに含む請求項３３に記載のコンピュータ可読媒体。
【請求項３５】
補間値の前記緑カーネルを用いてエッジ方向を決定するステップをさらに含む請求項３４に記載のコンピュータ可読媒体。
【請求項３６】
前記画素がエッジに存在するかどうかを判定する前記ステップが、
同じ色を有する近傍画素の様々な対における差分値を計算するステップと、
最も大きな差分値を予め定められたしきい値と比較するステップと、
を含む請求項３４に記載のコンピュータ可読媒体。
【請求項３７】
選択された画素に対する画像画素のための色平面補間の方法であって、
前記選択された画素が画像エッジに存在するかどうかを判定するステップと、
前記選択された画素が前記エッジに存在する場合、第１のセットのパラメータを用いて、近傍画素に基づいて、カラーパターンの色ごとに画素値を計算するステップと、
前記選択された画素が前記エッジに存在しない場合、第２のセットのパラメータを用いて、前記近傍画素に基づいて、前記カラーパターンの色ごとに画素値を計算するステップと、
を含む方法。
【請求項３８】
前記第１のセットのパラメータおよび前記第２のセットのパラメータが、前記選択された画素の色に基づくものである請求項３７に記載の方法。
【請求項３９】
前記カラーパターンが、ベイヤーカラーパターンである請求項３７に記載の方法。
【請求項４０】
前記第１のセットのパラメータが、緑画素に対する第３のセットのパラメータと、青画素に対する第４のセットのパラメータと、赤画素に対する第５のセットのパラメータとからなる請求項３９に記載の方法。
【請求項４１】
前記第２のセットのパラメータが、緑画素に対する第６のセットのパラメータと、青画素に対する第７のセットのパラメータと、赤画素に対する第８のセットのパラメータとからなる請求項３９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサーによって取り込まれた画像に使用するためのデモザイク処理に関する。
【背景技術】
【０００２】
撮像装置としても知られている画像センサーは、主として、テレビジョン画像の撮像、伝送、および、表示のために、１９６０年代末期から１９７０年代初期にかけて開発された。撮像装置は、特定の波長（フォトン、Ｘ線、などのような）を有する入射光を吸収し、吸収された放射線に対応する電気信号を生成する。いくつかの異なる種類の半導体ベースの撮像装置が存在し、電荷結合素子（ＣＣＤ）、フォトダイオードアレイ、電荷注入素子（ＣＩＤ）、ハイブリッド焦点面アレイ、および、ＣＭＯＳ撮像装置が含まれる。
【０００３】
これらの撮像装置は、典型的には、フォトセンサーを含む画素のアレイからなり、画像がアレイ上に結像したとき、それぞれの画素が、その画素に入射する光の強度に対応する信号を生成する。そして、これらの信号は、例えば、対応する画像をモニター上に表示するために記憶されてもよく、さもなければ、光学的画像に関する情報を提供するのに使用されてもよい。フォトセンサーは、典型的には、フォトトランジスタ、光導電体、または、フォトダイオードである。したがって、それぞれの画素によって生成された信号の大きさは、フォトセンサー上に入射する光の量に比例する。
【０００４】
フォトセンサーが、カラー画像を取り込むのを可能にするために、フォトセンサーは、例えば、ベイヤーパターン（Ｂａｙｅｒ  ｐａｔｔｅｒｎ）を使用する場合、赤（Ｒ）フォトン、緑（Ｇ）フォトン、および、青（Ｂ）フォトンを別々に検出することができなければならない。したがって、それぞれの画素は、１つの色または１つのスペクトルバンドだけを感知しなければならない。このために、典型的には、カラーフィルターアレイ（ＣＦＡ）が、画素の前方に配置され、それによって、それぞれの画素は、それに関連するフィルターの色の光を測定する。このように、カラー画像センサーのそれぞれの画素は、特定のパターン（例えば、ベイヤーパターン）に基づいて、赤フィルター、緑フィルター、または、青フィルターのいずれかによって覆われる。
【０００５】
最も低価格のＣＭＯＳ画像センサーまたはＣＣＤ画像センサーの場合、カラーフィルターは、そのセンサーと一体化される。カラーフィルターパターンの一般的な例は、米国特許第３，９７１，０６５号（この明細書は、参照によって本明細書に組み込まれる）に説明されているタイル状のカラーフィルターアレイであり、一般的には、“ベイヤーパターン”カラーフィルターと呼ばれている。
【０００６】
図１に示されるように、ベイヤーパターン１００は、繰り返して現れる赤（Ｒ）フィルター、緑（Ｇ）フィルター、および、青（Ｂ）フィルターからなるアレイであり、それらのフィルターによって、それらのフィルターの下にある画素は、それぞれ、赤画素、青画素、および、緑画素となる。ベイヤーパターン１００においては、赤画素、緑画素、および、青画素は、交互に現れる赤画素と緑画素がアレイの第１の行１０５上に存在し、かつ、交互に現れる青画素と緑画素が次の行１１０上に存在するように配置される。これらの交互に現れる画素からなる行が、アレイ全体にわたって繰り返して現れるように配置される。したがって、画像センサーが、１行ずつ読み出されるとき、第１のラインに対する画素シーケンスは、ＧＲＧＲＧＲ．．．を読み込み、そして、それと互い違いのラインシーケンスは、ＢＧＢＧＢＧ．．．を読み込む。この出力は、シーケンシャルＲＧＢまたはｓＲＧＢと呼ばれる。
【０００７】
ベイヤーパターン１００において、３つのすべての基本色に対するサンプリングレートは、人間視覚システムの感知能力に基づいて調節される。すなわち、人間の眼が最も敏感で反応しやすい緑色は、より多い数のセンサーによって感知され、人間の視覚がそれほど分解能を有していない青色および赤色は、より少ない数のセンサーによって感知される。これが、ベイヤーパターンにおいて、緑感知画素が１つおきにアレイ位置に存在し、かつ、赤感知画素および青感知画素が４つおきにアレイ位置に存在する理由である。
【０００８】
図２に示されるように、固体画像センサーにおいては、ベイヤーパターン化されたフィルターが、画素センサー２０５からなるアレイ２００上に形成されてもよい。具体的には、画素センサー２０５からなるアレイ２００は、半導体基板２１０上に形成される。それぞれの画素センサー２０５は、感光エレメント２１５を有し、その感光エレメント２１５は、例えば、フォトゲート、光導電体、または、フォトダイオードのような、どのような光電変換デバイスであってもよい。カラーフィルターアレイ２２０が、アレイ２００において上部金属層２２５上に形成されてもよく、絶縁物メタライゼーションパターンを含む中間誘電体層（ＩＬＤ）２３５およびパッシベーション層２３０のような様々なメタライゼーションおよび絶縁層によって、フォトセンサー２１５から分離される。金属層２２５は、不透明なものであってもよく、また、光を感知しない画素領域を遮蔽するのに使用されてもよい。凸レンズ２４０が、カラーフィルター２２０上に形成される。動作中、入射光は、レンズ２４０によって、フィルター２２０を介して、感光エレメント２１５に結像する。
【０００９】
ベイヤーパターンフィルターの場合、赤、緑、および、青の値が、それぞれの画素に必要である。それぞれの画素センサーセルは、１つの色しか感知しないので、残りの２つの色の値は、それらの足りない色を感知する近傍画素からの補間によって計算される。この色平面補間は、デモザイク処理として知られている。例えば、図１を参照すると、画素センサーセル１１５は、緑フィルターと組み合わせられ、それによって、画素センサーセル１１５は、緑色光を感知し、緑色光だけを表現する信号を生成することになる。画素センサーセル１１５に対する赤色光および青色光のおおよその量を得るために、値が、それぞれ、近傍赤画素センサーセル１２０および１２５、ならびに、近傍青画素センサーセル１３０および１３５から補間されてもよい。デモザイク処理が正しく実行されなければ、その結果として得られる画像は、きわめて目立つカラーアーティファクトを含むことになるかもしれない。
【００１０】
Ｂａｈａｄｉｒ  Ｋ．Ｇｕｎｔｕｒｋ，  Ｙｕｃｅｌ  Ａｌｔｕｎｂａｓａｋ  および
Ｒｕｓｓｅｌｌ  Ｍ．Ｍｅｒｓｅｒｅａｕによって２００２年９月にＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．II，Ｎｏ．９に発表された“Ｃｏｌｏｒ  Ｐｌａｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｕｓｉｎｇ  Ａｌｔｅｒｎａｔｉｎｇ  Ｐｒｏｊｅｃｔｉｏｎｓ”と称する論文（この論文の内容は、参照により本明細書に組み込まれる）は、いくつかのデモザイク処理技術を比較している。この論文において説明されるように、それぞれのこれらのデモザイク処理技術は、それぞれの利点および欠点を有する。
【００１１】
上述したように、それぞれの画素ごとに、第１の色に使用される値は、感知された色（すなわち、画素のセンサー２０５によって感知された光）に基づくものであり、残りの２つの色の値は、対応する近傍画素の感知された値から補間された値に基づくものである。感知された値のそれぞれは、中心の画素における色値を表現する。また、補間された色値のそれぞれは、中心の画素における値を表現する。補間された信号は、本質的に、元々感知された信号よりも低い品質を有する。例えば、中心の画素において補間された赤色値は、中心の同じ画素に対して感知された赤色値とは異なるだろう。
【００１２】
デモザイク処理方法は、それは、典型的には、足りない色成分を再現するだけであるが、結果的に、いわゆるジッパー効果のようなアーティファクトおよびランダムなカラードットを発生させることがある。さらに、雑音をフィルタリングすることと鮮鋭なエッジをぼやけさせることとのトレードオフが存在する。周囲の画素値を用いて画素を補間することは、エッジにおける画素が補間される場合に、画像をぼやけさせる傾向を有する。さらにまた、これは、エッジにおいて、画像の鮮鋭度を減少させることになる。これは、主として、画像内に含まれるエッジを跨ぐ画素を平均することによるものである。デモザイク処理方法は、画素を平均し、そのために、エッジに存在する画素は、エッジ画素に必要とされる鮮鋭度を有していない。このように、補間値を計算するときに画像エッジを検出しかつ考慮に入れる改善されたデモザイク処理技術を提供する色平面補間が、所望され、かつ、必要とされている。
【発明の開示】
【００１３】
色平面補間のための方法および装置が、提供され、その方法および装置は、エッジ方向と画素が画像内のエッジに存在するかどうかとに応じて別々に、画素の色値を補間する。カラーパターン内に存在するそれぞれの色の補間中にエッジ検出を使用することは、公知のデモザイク処理技術においてよく見られる画像鮮鋭度の低下という欠点をいくぶん減少させるのを助ける。
【発明を実施するための最良の形態】
【００１４】
以下の詳細な説明においては、本明細書の一部を構成する添付の図面が参照され、それらの図面には、本発明が実施されてもよい特定の実施形態が例として示される。これらの実施形態は、当業者が本発明を実施できるほど十分に詳しく説明され、また、本発明の精神および範囲を逸脱することなく、その他の実施形態が使用されてもよいこと、ならびに、構造的、論理的、および、電気的な変更がなされてもよいことを理解すべきである。
【００１５】
“画素”という用語は、光放射を電気信号に変換するためのフォトセンサーおよびトランジスタを含む画像素子単位セルを意味する。説明のために、代表的な画素が、図面およびここでの記述において説明され、また、典型的には、撮像装置におけるすべての画素の製造は、同じような形で同時に進行する。したがって、以下の詳細な説明は、限定するような意味に解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲に規定されている。
【００１６】
本発明によるＣＭＯＳ撮像装置への言及は、本発明のほんの１つの例を説明する唯一の目的のためになされることを理解すべきである。当然ながら、本発明はＣＭＯＳ撮像装置に限定されるのではなく、画素上にカラーフィルターを使用するＣＣＤおよびその他の撮像装置にも適用されることが容易に理解できる。さらに、本発明は、標準的な３色ベイヤーパターンを用いて説明される。本発明はその標準的な３色ベイヤーパターンに限定されるのではなく、異なる色を使用しあるいは３色よりも多いかまたは少ない色を使用する色空間に適用されてもよいことを理解すべきである。
【００１７】
図３Ａおよび図３Ｂは、本発明の実施形態による撮像装置の部分的な画素アレイ３００の平面図である。具体的には、図３Ａおよび図３Ｂは、本発明において使用される５×５カーネル（以下でより詳細に説明される）を示す。これまでに説明したように、それぞれの画素、例えば、画素２３は、単一色を感知する。したがって、それぞれの緑（Ｇ）画素は、緑に対して感知された値を提供する。同様に、それぞれの青（Ｂ）画素は、青に対して感知された値を提供し、それぞれの赤（Ｒ）画素は、赤に対して感知された値を提供する。カラー画像を再現するために、特定の色のそれぞれの画素に対して、残りのそれぞれ
の色に対する値が補間される。さらに、以下で説明されるように、感知された画素値は、また、補間された値に取り替えられてもよい。赤値、緑値、および、青値の補間は、１つの色に対して感知された値と残りの２つの色の補間された値とを使用すること（従来技術によるシステムにおいて一般的に行われている）から発生する不均衡（ｉｍｂａｌａｎｃｅ）を除去する。
【００１８】
図３Ａおよび図３Ｂに示されるように、特定の画素４５が処理される場合、周囲の画素からなる５×５カーネルが、以下の補間計算において使用されるが、多くの補間計算においては、３×３カーネル内に存在する画素しか必要とされない。しかしながら、その他のカーネルサイズが、本発明において使用されてもよい。
【００１９】
一般的には、選択されたそれぞれの画素ごとに、５×５カーネル内に存在する３×３補間カーネルがまず最初に定義され、そして、そのカーネル内に存在する画素に対する色値が計算される。次に、エッジ方向が決定される。画素色およびエッジ方向に応じて、３×３カーネルのいくつかの値が再計算されてもよい。そして、３×３カーネルは、選択された画素にエッジが存在するかどうかを決定するのに使用される。そして、エッジが存在するかどうかに基づいて、また、その画素色に基づいて、最終画素補間値が計算される。処理される画素が画像エッジに存在するかどうかに基づいて、また、その画素の感知された色に基づいて、異なる補間パラメータが補間処理に適用される。
【００２０】
本発明の補間処理は、補間処理全体を説明する図７のフローチャートからより明確に理解することができる。ステップ７０１において、画素が処理のために選択される。ここでの説明を通して、図３Ａおよび図３Ｂに示される代表的な画素４５、および、中心画素として図４に示される画素が、例として、処理される画素として使用される。次に、ステップ７０３において、選択された画素を取り囲む３×３カーネルが定義される（例えば、図３Ａおよび図３Ｂにおける画素３４、３５、３６、４４、４５、４６、５４、５５、および、５６）。ステップ７０５において、画素４５が感知された緑画素かどうかが判定される。画素４５が緑であれば、ステップ７０７において、３×３カーネルに対する緑値が、３×３カーネル内に存在する画素から実際に感知された画素値を用いて、以下の一セットの式（１）に基づいて計算される。図４は、３×３カーネル内に存在する画素に対して計算された緑値ｇ１１、ｇ１２、ｇ１３、ｇ２１、ｇ２２、ｇ２３、ｇ３１、ｇ３２、ｇ３３の３×３カーネル内における位置を示す。３×３カーネルは、図３Ａに示される緑画素２５、３４、３６、４５、４７、５４、５６、および、６５の実際の値を用いて計算される。３×３カーネルは、以下の式を用いて計算され、
［式（１）］
ｇ１１＝Ｐ３４
ｇ１２＝ＭＥＤＩＡＮ（Ｐ２５，Ｐ３４，Ｐ４５，Ｐ３６）
ｇ１３＝Ｐ３６
ｇ２１＝ＭＥＤＩＡＮ（Ｐ５６，Ｐ４７，Ｐ４５，Ｐ３６）
ｇ２２＝Ｐ４５
ｇ２３＝ＭＥＤＩＡＮ（Ｐ５６，Ｐ６５，Ｐ４５，Ｐ５４）
ｇ３１＝Ｐ５４
ｇ３２＝ＭＥＤＩＡＮ（Ｐ４３，Ｐ３４，Ｐ４５，Ｐ５４）
ｇ３３＝Ｐ５６
ここで、“Ｐ”は、画素値であり、“ｘｙ”は、図３Ａ〜図３Ｂに示される画素番号である。図３Ａ〜図３Ｂに示されるように、“ｘ”は、行を表現し、“ｙ”は、列を表現する。画素４５が、図３Ｂに示されるように、赤かまたは青であれば、ステップ７０９において、３×３カーネルは、緑画素２４、２６、３３、３５、３７、４４、４６、５３、５５、５７、６４、および、６５の値を用いて、以下の一セットの式（２）に基づいて計算される。そして、３×３緑カーネルが、以下の式を用いて計算される。
［式（２）］
ｇ１１＝ＭＥＤＩＡＮ（Ｐ３３，Ｐ２４，Ｐ３５，Ｐ４４）
ｇ１２＝Ｐ３５
ｇ１３＝ＭＥＤＩＡＮ（Ｐ２６，Ｐ３７，Ｐ３５，Ｐ４６）
ｇ２１＝Ｐ４４
ｇ２２＝ＭＥＤＩＡＮ（Ｐ４４，Ｐ３５，Ｐ５５，Ｐ４６）
ｇ２３＝Ｐ５６
ｇ３１＝ＭＥＤＩＡＮ（Ｐ５３，Ｐ４４，Ｐ５５，Ｐ６４）
ｇ３２＝Ｐ５５
ｇ３３＝ＭＥＤＩＡＮ（Ｐ４６，Ｐ５７，Ｐ５５，Ｐ６６）
この例としての実施形態においては、同じカーネル値が、周囲に存在する緑画素の実際に感知された値の中央値（または中間値）補間（ｍｅｄｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて、補間される。３×３補間カーネルは、この例としての実施形態においては、緑である。なぜなら、これまでに説明したように、ベイヤーＣＦＡにおいて、緑画素は、最も数の多い画素であり、かつ、画像に最も影響を及ぼす画素であるからである。図４に示される３×３カーネルｇ１１、ｇ１２、ｇ１３、ｇ２１、ｇ２２、ｇ２３、ｇ３１、ｇ３２、ｇ３３内に存在する画素の値は、図３Ａおよび図３Ｂに示される３×３カーネル内に存在する画素の緑値を計算したものである。緑カーネルは、エッジ検出中に使用され、また、補正項を計算するときに使用される。当業者は、その他の画素色が３×３補間カーネルを計算するのに使用されてもよいこと、あるいは、カーネルは異なるサイズを有してもよいことがわかるはずである。
【００２１】
次に、図７に示されるステップ７１１において、計算された３×３緑カーネルが、エッジ方向を決定するのに使用される。４つのエッジ方向の値が、ステップ７１１において計算される。図４に示される点線２、５、８、および、１１は、エッジ方向計算がなされる４つの方向である。残りの点線は、４つのエッジ方向値を計算するときに使用される単なる例に過ぎない。それぞれの点線の和が、以下の一セットの式（３）において計算される。
［式（３）］
Ｓ１＝ｇ１１＋ｇ１２＋ｇ１３
Ｓ２＝ｇ２１＋ｇ２２＋ｇ２３
Ｓ３＝ｇ３１＋ｇ３２＋ｇ３３
Ｓ４＝ｇ１１＋ｇ２１＋ｇ３１
Ｓ５＝ｇ１２＋ｇ２２＋ｇ３２
Ｓ６＝ｇ１３＋ｇ２３＋ｇ３３
Ｓ７＝ｇ２１＋ｇ１１＋ｇ１２
Ｓ８＝ｇ１３＋ｇ２２＋ｇ３１
Ｓ９＝ｇ２３＋ｇ３２＋ｇ３３
Ｓ１０＝ｇ２１＋ｇ３１＋ｇ３２
Ｓ１１＝ｇ１１＋ｇ１３＋ｇ３３
Ｓ１２＝ｇ１２＋ｇ１３＋ｇ２３
【００２２】
エッジ方向値ＤＩＲｘが、それぞれの方向線２、５、８、および、１１ごとに計算され、ここで、“ＤＩＲ”は、その値であり、“ｘ”は、方向線番号である。以下の一セットの式（４）が、４つのエッジ方向値を計算するのに使用される。
［式（４）］
ＤＩＲ２＝ｍａｘ（｜Ｓ１−Ｓ２｜，｜Ｓ２−Ｓ３｜）
ＤＩＲ５＝ｍａｘ（｜Ｓ４−Ｓ５｜，｜Ｓ５−Ｓ６｜）
ＤＩＲ８＝ｍａｘ（｜Ｓ７−Ｓ８｜，｜Ｓ８−Ｓ９｜）
ＤＩＲ１１＝ｍａｘ（｜Ｓ１０−Ｓ１１｜，｜Ｓ１１−Ｓ１２｜）
最も大きなＤＩＲ値を有する方向が、エッジ方向であると決定され、これは、ステップ７１１において決定される。
【００２３】
次に、図７に示されるステップ７１３において、処理されている画素４５は緑かどうかが判定される。ステップ７１３において、画素４５が緑でなければ、ステップ７１４において、エッジ方向が点線２の方向（水平方向）であるかどうかが判定される。エッジ方向が、水平方向であれば、エッジ方向を考慮に入れるために、図３Ｂに示されるように、ｇ２２が再計算される。ｇ２２の値は、式：ｇ２２＝（ｇ２１＋ｇ２３）／２を用いて再計算される。ステップ７１４において、エッジ方向が水平方向でなければ、次に、ステップ７１５において、エッジ方向が点線５の方向（垂直方向）であるかどうかが判定される。方向が、垂直方向であると判定されたならば、ｇ２２の画素値が、式：ｇ２２＝（ｇ１２＋ｇ３２）／２を用いて再計算される。しかしながら、ステップ７１５において、エッジ方向が垂直方向でなければ、ステップ７１９において、ｇ２２の値はそのままである。ステップ７１３において、画素が緑であると判定されたならば、ｇ２２の値はそのままである。
【００２４】
次に、処理される画素４５にエッジが存在するかどうかを判定するために、補間値を計算するときに使用されるかもしれないすべての画素に対して、同じ色の画素の対における差分値が、計算される。ステップ７２３において、処理される画素４５が、緑であれば、ステップ７２５において、差分値が、以下の一セットの式（５）に基づいて計算される。
［式（５）］
Ｄ１＝｜Ｐ５４−Ｐ３６｜
Ｄ２＝｜Ｐ４５−Ｐ４７｜
Ｄ３＝｜Ｐ３５−Ｐ５７｜
Ｄ４＝｜Ｐ４４−Ｐ６６｜
Ｄ５＝｜Ｐ５５−Ｐ３７｜
Ｄ６＝｜Ｐ６４−Ｐ４６｜
ステップ７２３において、処理される画素４５が、緑ではないと判定されると、ステップ７２７において、差分値は、以下の一セットの式（６）に基づいて計算される。
［式（６）］
Ｄ１＝｜Ｐ５４−Ｐ３６｜
Ｄ２＝｜Ｐ５６−Ｐ３４｜
Ｄ３＝｜Ｐ４６−Ｐ４４｜
Ｄ４＝｜Ｐ５５−Ｐ３５｜
Ｄ５＝｜Ｐ４５−Ｐ４３｜
Ｄ６＝｜Ｐ４５−Ｐ４７｜
Ｄ７＝｜Ｐ４５−Ｐ６５｜
ステップ７２９において、計算された差分値の中の最大差分値が予め定められたエッジしきい値よりも大きいかどうかが、式（７）を用いて判定される。
［式（７）］
ＭＡＸ（Ｄ１．．．Ｄ７）＞エッジしきい値
最大差分値が、そのしきい値よりも小さければ、エッジは存在しないとみなされるが（ステップ７３１）、最大差分値が、そのしきい値よりも大きければ、エッジは存在するとみなされる（ステップ７３３）。エッジしきい値は、アプリケーションに固有のものであるように設定されてもよく、あるいは、ユーザの好みに基づいて設定されてもよい。
【００２５】
ステップ７２９において、エッジが検出されなければ、処理される画素４５は緑かどうかが、再度、判定される。処理される画素４５が緑であれば、ステップ７３９において、第８の一セットの式（８）が、画素４５の補間された赤値、緑値、および、青値を計算するのに使用される。第８の一セットの補間式（８）は、
［式（８）］
Ｒ４５＝（Ｐ３５＋Ｐ５５＋Ｐ３７＋Ｐ５７）／４
Ｂ４５＝（Ｐ４４＋Ｐ４６＋Ｐ６６＋Ｐ６４）／４
Ｇ４５＝（Ｐ４５＋Ｐ４７＋Ｐ５４＋Ｐ３６）／４
であり、ここで、Ｒ４５、Ｇ４５、および、Ｂ４５は、処理される画素４５に対する赤補間値、緑補間値、および、青補間値である。画素４５が緑画素であったとしても、その値は、Ｐ４５の実際に感知された値とともに画素４５を取り囲むその他の緑画素の実際の値を用いて、補間されることに注意されたい。
【００２６】
ステップ７３５において、処理される画素４５が緑ではないと判定されると、ステップ７４１において、処理される画素４５は青かどうかが判定される。処理される画素４５が、青であれば、ステップ７４７において、第９の一セットの式（９）が、画素４５の赤値、緑値、および、青値を計算するのに使用される。第９の一セットの補間式は、
［式（９）］
Ｒ４５＝（Ｐ５６＋Ｐ５４＋Ｐ３６＋Ｐ３４）／４
Ｂ４５＝（Ｐ４５＋Ｐ４３＋Ｐ４７＋Ｐ６５）／４
Ｇ４５＝（Ｐ４４＋Ｐ３５＋Ｐ４６＋Ｐ５５）／４
であり、ここで、Ｒ４５、Ｇ４５、および、Ｂ４５は、画素４５に対する赤補間値、緑補間値、および、青補間値である。ステップ７４１において、処理される画素４５が青でなければ、画素４５は赤であり、そして、ステップ７４９において、第１０の一セットの式（１０）が、画素４５の赤値、緑値、および、青値を計算するのに使用される。第１０の一セットの補間式は、
［式（１０）］
Ｒ４５＝（Ｐ４５＋Ｐ４３＋Ｐ４７＋Ｐ６５）／４
Ｂ４５＝（Ｐ５６＋Ｐ５４＋Ｐ３６＋Ｐ３４）／４
Ｇ４５＝（Ｐ４４＋Ｐ３５＋Ｐ４６＋Ｐ５５）／４
であり、ここで、Ｒ４５、Ｇ４５、および、Ｂ４５は、画素４５に対する赤補間値、緑補間値、および、青補間値である。
【００２７】
ステップ７２９において、エッジが検出され、かつ、ステップ７３７において、処理される画素４５が緑であれば、画素４５の赤値、緑値、および、青値の補間値は、第１１の一セットの式（１１）を用いて計算される。第１１の一セットの補間式は、
［式（１１）］
Ｒ４５＝（Ｐ３５＋Ｐ５５）／２＋ＤＥＬＴＡｒｅｄ
Ｂ４５＝（Ｐ４４＋Ｐ４６）／２＋ＤＥＬＴＡｂｌｕｅ
Ｇ４５＝ｇ２２
であり、ここで、Ｒ４５、Ｇ４５、および、Ｂ４５は、画素４５に対する赤補間値、緑補間値、および、青補間値であり、ＤＥＬＴＡｒｅｄおよびＤＥＬＴＡｂｌｕｅは、補正項である。ＤＥＬＴＡｂｌｕｅおよびＤＥＬＴＡｒｅｄの値は、ステップ７１１において決定されたエッジの方向に基づいて計算される。エッジ方向が、水平方向の点線２であれば、ＤＥＬＴＡｂｌｕｅ＝ｇ２２−（ｇ２１＋ｇ２３）／２であり、かつ、ＤＥＬＴＡｒｅｄ＝０であり、そして、エッジ方向が、垂直方向の点線５であると判定されたならば、ＤＥＬＴＡｂｌｕｅ＝０であり、かつ、ＤＥＬＴＡｒｅｄ＝ｇ２２−（ｇ１２＋ｇ３２）／２である。最後に、エッジ方向が、対角線方向１１または８であると判定されたならば、ＤＥＬＴＡｂｌｕｅ＝ｇ２２−（ｇ２１＋ｇ２３）／２であり、かつ、ＤＥＬＴＡｒｅｄ＝ｇ２２−（ｇ１２＋ｇ３２）／２である。
【００２８】
ステップ７３７において、処理される画素４５は緑ではないと判定されると、ステップ７４５において、処理される画素４５は青かどうかが判定される。処理される画素４５が青であれば、ステップ７５１において、第１２の一セットの式（１２）が、赤補間値、緑補間値、および、青補間値を計算するのに使用される。第１２の一セットの補間式は、
［式（１２）］
Ｒ４５＝（Ｐ５６＋Ｐ５４＋Ｐ３６＋Ｐ３４）／４＋ＤＥＬＴＡｒｅｄ
Ｂ４５＝Ｐ４５
Ｇ４５＝ｇ２２
であり、ここで、Ｒ４５、Ｇ４５、および、Ｂ４５は、画素４５に対する赤補間値、緑補間値、および、青補間値であり、ＤＥＬＴＡｒｅｄの値は、式：ＤＥＬＴＡｒｅｄ＝ｇ２２−（ｇ１１＋ｇ１３＋ｇ３１＋ｇ３３）／４を用いて計算される。ステップ７４５において、処理される画素４５が青でなければ、ステップ７５３において、第１３の一セットの式（１３）が、処理される赤画素４５に対する赤補間値、緑補間値、および、青補間値を計算するのに使用される。第１３の一セットの補間式は、
［式（１３）］
Ｂ４５＝（Ｐ５６＋Ｐ５４＋Ｐ３６＋Ｐ３４）／４＋ＤＥＬＴＡｂｌｕｅ
Ｒ４５＝Ｐ４５
Ｇ４５＝ｇ２２
であり、ここで、Ｒ４５、Ｇ４５、および、Ｂ４５は、画素４５に対する赤補間値、緑補間値、および、青補間値であり、ＤＥＬＴＡｂｌｕｅの値は、式：ＤＥＬＴＡｂｌｕｅ＝ｇ２２−（ｇ１１＋ｇ１３＋ｇ３１＋ｇ３３）／４を用いて計算される。赤画素および青画素に対するＤＥＬＴＡ補正値は、エッジ方向と緑の３×３補間カーネルとに基づくものである。
【００２９】
上述したように、本発明は、色平面補間のための新しい新規性のあるシステムおよび方法を提供し、緑、赤、および、青に対する補間された値は、得られた感知値だけに基づいて計算されるのではなく、処理される画素が画像に存在するかどうかにも基づいて計算される。本発明によれば、感知された値と補間された値との間の不均衡は、それぞれの色に対する値を補間することによって、除去される。さらに、エッジ検出および補正項が、画像エッジのぼやけを最小限に抑制するのに使用される。
【００３０】
図５は、行列として配置された複数の画素を含む画素アレイ５０５を有するＣＭＯＳ撮像装置集積回路（ＩＣ）５００のブロック図を示し、その画素アレイ５０５は、例えば、ベイヤーパターンとして配置された２つの緑画素（Ｇ）と、１つの青画素（Ｂ）と、１つの赤画素（Ｒ）とを備えた領域５１０を含む。アレイ５０５におけるそれぞれの行の画素は、すべて、行選択ライン５１５によって、同時にターンオンされ、それぞれの列の画素は、それぞれの列選択ライン５２０によって、選択的に出力される。
【００３１】
行ライン５１５は、行アドレスデコーダ５３０に応じて、行ドライバ５２５によって選択的に駆動される。列選択ライン５２０は、列アドレスデコーダ５４０に応じて、列セレクタ５３５によって選択的に駆動される。画素アレイ５０５は、画素信号読み出しのために適切な行ラインおよび列ラインを選択するためのアドレスデコーダ５３０および５４０を制御するタイミング＆制御回路５４５によって動作する。
【００３２】
典型的には画素リセット信号（Ｖｒｓｔ）および画素画像信号（Ｖｓｉｇ）を含む画素列信号が、列セレクタ５３５に結合されたサンプル＆ホールド回路５５０によって読み込まれる。差分信号（Ｖｒｓｔ−Ｖｓｉｇ）が、差動増幅器５５５によって、それぞれの画素ごとに生成され、その差分信号は、アナログ−ディジタル変換器５７０（ＡＤＣ）によって増幅およびディジタル化される。アナログ−ディジタル変換器５７０は、ディジタル化された画素信号を画像処理プロセッサー５７５に供給し、その画像処理プロセッサー５７５は、本発明の処理方法７００を実行する。あるいは、画像処理プロセッサー５７５は、アナログ−ディジタル変換器５７０から受信されたままの生のフォーマットを有する画像ファイルを出力してもよく、その画像ファイルが、別のプロセッサーによって、本発明に基づいて受信され、かつ、処理されてもよい。
【００３３】
画素信号が本発明に基づいて補間される画素アレイを含む撮像装置６０５を含む典型的なプロセッサーシステムが、全体的に符号６００として図６に示される。撮像装置６０５は、画素アレイから供給される信号から出力画像を生成する。プロセッサーシステムは、ＣＭＯＳ撮像装置の出力を受信する例としてのシステムである。限定されることなく、そのようなシステムは、コンピュータシステム、カメラシステム、スキャナー、機械視覚システム、医療用センサーシステム（医療薬センサーのような）、自動診断システム、および、その他の撮像システムを含んでもよく、それらのすべてが、本発明を使用してもよい。あるいは、撮像装置６０５内の画像処理プロセッサー５７５が、改善された画像信号を提供するのであれば、本発明は、処理システム６００において実行されてもよい。
【００３４】
コンピュータシステムのようなプロセッサーシステム６００は、例えば、一般的には、マイクロプロセッサーのような中央処理装置（ＣＰＵ）６１０を備え、そのＣＰＵ６１０は、バス６２０を介して、入力／出力（Ｉ／Ｏ）装置６１５と通信する。また、撮像装置６０５は、バス６２０かまたはその他の通信リンクを介して、そのシステムと通信する。プロセッサーベースシステム６００は、さらに、ランダムアクセスメモリー（ＲＡＭ）６２５を含み、また、フラッシュメモリーのような取り外し可能メモリー６３０を含んでもよく、また、そのメモリー６３０は、バス６２０を介して、ＣＰＵ６１０と通信する。撮像装置６００は、ＣＰＵのようなプロセッサー、ディジタル信号プロセッサー、または、マイクロプロセッサーと組み合わせられてもよく、それらのプロセッサーは、単一集積回路上にまたはプロセッサーとは異なるチップ上に記憶装置を備えてもよくあるいは備えなくてもよい。
【００３５】
本発明は、上述した実施形態に限定されない。例えば、本発明による処理方法を具体化するプログラムは、ＲＡＭ、フロッピーディスク、データ伝送、コンパクトディスク、などを含んでもよい搬送媒体上に記憶されてもよく、そして、画像ファイルを本発明に基づいて受信および処理する関連プロセッサーによって実行されてもよく、あるいは、本発明による処理方法は、回路として、または、それらの組み合わせとして、具体化されてもよい。さらに、本発明は、既存のソフトウェアアプリケーションのためのプラグインとして実施されてもよく、あるいは、そのプラグインが、単独で使用されてもよい。本発明は、ここで指定された搬送媒体に限定されることはなく、本発明は、この分野において知られているどのような搬送媒体を用いて実施されてもよい。
【００３６】
緑色、赤色、および、青色の画素に対する値を補間するその他の方法は本発明の範囲内に存在すること、および、本発明はこれまでに説明された式あるいは補正項の使用に限定されないことを理解すべきである。具体的には、例えば、ここで説明された画素の代わりに、あるいは、それらの画素に加えて、その他の周囲の画素が、補間値を計算するときに使用されてもよい。そのようなものとして、これまでの説明および添付の図面は、本発明の特徴および利点を実現する例としての実施形態をただ単に説明するものであると考えられるべきである。添付の特許請求の範囲の精神および範囲内に存在する本発明のあらゆる変形は、本発明の一部であるとみなされるべきである。したがって、本発明は、これまでの説明および添付の図面によって限定されると考えられるのではなく、添付の特許請求の範囲の範囲によってのみ限定されると考えられるべきである。
【図面の簡単な説明】
【００３７】
本発明の上述したおよびその他の利点および特徴が、添付の図面を参照して以下に提供される例としての実施形態の詳細な説明からより明白となる。
【図１】一般的なカラーフィルターアレイを示す平面図である。
【図２】カラーフィルターアレイを有する画素アレイの一部分を示す断面図である。
【図３Ａ】本発明の例としての補間方式に使用される５×５画素カーネルを示す例としての平面図である。
【図３Ｂ】本発明の例としての補間方式に使用される５×５画素カーネルを示す例としての平面図である。
【図４】本発明の例としての実施形態に基づいて使用される３×３カーネルを示すブロック図である。
【図５】本発明の例としての実施形態に基づいて構成された画素アレイを有するＣＭＯＳ撮像装置集積回路（ＩＣ）を示すブロック図である。
【図６】本発明によるＣＭＯＳ撮像装置を有するプロセッサーシステムを示す図である。
【図７】本発明の一実施形態の処理を説明するフローチャートである。
【図１】
2009522864.tif 000003
【図２】
2009522864.tif 000004
【図３Ａ】
2009522864.tif 000005
【図３Ｂ】
2009522864.tif 000006
【図４】
2009522864.tif 000007
【図５】
2009522864.tif 000008
【図６】
2009522864.tif 000009
【図７】
2009522864.tif 000010
【手続補正書】
【提出日】平成20年8月25日(2008.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２６
【補正方法】変更
【補正の内容】
【請求項２６】
前記補間処理回路が、さらに、前記選択された画素が前記エッジに存在するかどうかを判定する請求項２５に記載の処理システム。
【国際調査報告】
2009522864.tif 000011
2009522864.tif 000012
2009522864.tif 000013