(57)【要約】【課題】  カラーフィルタアレイを有する高画素の固体撮像素子を持つ撮像装置において、読出し画素数を低減しつつも高精細な画像を得ることが可能な、撮像素子における複数の画素を混合する画素混合方法を提供する。【解決手段】  カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合する画素混合方法であって、空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行う画素混合演算ステップと、混合後色空間の色の種類及び前記画素混合演算方程式に基づいて、色変換行列を生成する色変換行列生成ステップと、生成された色変換行列に基づいて、混合後色空間から所望の色空間へ変換する所望色空間変換ステップとを有する。【選択図】  図１
2007019605.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合する画素混合方法であって、
空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行うことを特徴とする画素混合方法。
【請求項２】
前記画素混合演算は、重み付加算で、要するに、前記画素同士の各画素の画素値と、各画素に対応する好適な画素混合重みとを掛け合わせたものの加算であり、
前記好適な画素混合重みは、前記画素混合演算に基づいて算出される色変換行列の安定性を表す所定のパラメータに基づいて決定される請求項１に記載の画素混合方法。
【請求項３】
前記所定のパラメータは、前記色変換行列の条件数であり、
前記条件数はcond(Ａ)で表し、次の式によって算出され、
2007019605.tif 000072
ただし、Ａは前記色変換行列を表し、また、ＡＴは前記色変換行列Ａの転置行列を表すものであり、
前記好適な画素混合重みは、下記ステップ１〜ステップ５によって求められる請求項２に記載の画素混合方法。
ステップ１：
画素混合演算に利用される画素数（垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ個の画素、ただし、ｎ、ｍは自然数である）と、画素混合演算後の色の種類Ｌ（Ｌは３以上の整数である）の値を決め、そして、ｎ×ｍ×Ｌ個の画素混合重みの初期値を決定する。
ステップ２：
決定されたｎ×ｍ×Ｌ個の画素混合重みの値に基づいて、画素混合演算方程式を定義し、色変換行列を生成する。
ステップ３：
生成された色変換行列の条件数を計算する。
ステップ４：
算出された色変換行列の条件数が十分小さいか否かを判断し、十分小さいと判断された場合のｎ×ｍ×Ｌ個の画素混合重みの値を好適な画素混合重みにする。一方、条件数が十分小さいと判断されない場合に、ステップ５に進む。
ステップ５：
色変換行列の条件数を小さくするように、ｎ×ｍ×Ｌ個の画素混合重みの値を変更し、ステップ２に戻る。
【請求項４】
ベイヤー配列のカラーフィルタアレイ(ＣＦＡ)を有し、且つ水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合することを特徴とする画素混合方法。
【請求項５】
空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行う画素混合演算ステップと、
混合後色空間の色の種類及び前記画素混合演算方程式に基づいて、色変換行列を生成する色変換行列生成ステップと、
生成された色変換行列に基づいて、混合後色空間から所望の色空間へ変換する所望色空間変換ステップと、
を有し、
前記画素混合演算は、前記画素同士の各画素の画素値と、各画素に対応する好適な画素混合重みとを掛け合わせたものの加算であり、前記好適な画素混合重みは、前記色変換行列の条件数に基づいて決定され、
前記色変換行列の条件数cond(Ａ)は、次の数式によって算出され、
2007019605.tif 000073
ただし、Ａは前記色変換行列を表し、また、ＡＴは前記色変換行列Ａの転置行列を表す請求項４に記載の画素混合方法。
【請求項６】
前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の４画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000074
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍd22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000075
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000076
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000077
ただし、（ＡＴＡ）−１はＡＴＡの逆行列を表す請求項５に記載の画素混合方法。
【請求項７】
前記好適な画素混合重みは次の数式で表す値を有する請求項６に記載の画素混合方法。
2007019605.tif 000078
【請求項８】
前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の４画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000079
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍa22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000080
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000081
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000082
ただし、Ａ−１はＡの逆行列を表す請求項５に記載の画素混合方法。
【請求項９】
前記好適な画素混合重みは次の数式で表す値を有する請求項８に記載の画素混合方法。
2007019605.tif 000083
【請求項１０】
前記好適な画素混合重みcijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いる請求項８に記載の画素混合方法。
2007019605.tif 000084
【請求項１１】
前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の９画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000085
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍd22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000086
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000087
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000088
ただし、（ＡＴＡ）−１はＡＴＡの逆行列を表す請求項５に記載の画素混合方法。
【請求項１２】
前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の９画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000089
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍa22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000090
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000091
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000092
ただし、Ａ−１はＡの逆行列を表す請求項５に記載の画素混合方法。
【請求項１３】
前記好適な画素混合重みは、次の５つの数式で表す５通りの値の何れか1つを有する請求項１２に記載の画素混合方法。
数式その１：
2007019605.tif 000093
数式その２：
2007019605.tif 000094
数式その３：
2007019605.tif 000095
数式その４：
2007019605.tif 000096
数式その５：
2007019605.tif 000097
【請求項１４】
前記好適な画素混合重みcijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いる請求項１２に記載の画素混合方法。
2007019605.tif 000098
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタアレイ(ＣＦＡ)を有する高画素の固体撮像素子を持つ撮像装置において、その固体撮像素子から出力される画像信号数を削減するために、撮像素子における複数の画素を混合する画素混合方法に関する。
【背景技術】
【０００２】
近年、例えば、デジタルスチルカメラやデジタルビデオカメラ等の固体撮像素子を持つ撮像装置の市場拡大が著しい。また、このような撮像装置に使用されている固体撮像素子（例えば、ＣＣＤやＣＭＯＳなどの撮像素子）の画素数は著しく増加している。
【０００３】
その一方で、非常に大きな画素数を持つ固体撮像素子（以下、単に、高画素の撮像素子と称する）から高いフレームレートで動画像として記録する技術は、それほど進歩していない。
【０００４】
従って、高画素の撮像素子を持つデジタルスチルカメラなどの撮像装置においては、その撮像素子が非常に大きな画素数を有しているにもかかわらず、動画像として読み出せる画素数（信号数）には限界があるといった問題点がある。
【０００５】
このため、デジタルスチルカメラのような撮像装置において、高画素の撮像素子から読み出す画素数（信号数）を削減することを目的として、従来、間引き読出し方法や画素混合方法が利用されている。
【０００６】
間引き読出し方法とは、単純に、ＣＦＡを有する撮像素子の画素を間引いて読み出す方法である。また、画素混合方法とは、ＣＦＡを有する撮像素子における複数の画素を混合し、１つの画素値（信号）として読み出す方法である。このとき、例えば、非特許文献１や特許文献１に開示されているような画素混合方法（以下、単に従来法と称する）では、撮像素子における同色の画素を混合するようにしている。ここで、このような従来法を、同色画素混合又は同色画素混合法と呼ぶことにする。
【特許文献１】特開２００５−１０９９６８号公報
【特許文献２】特開２００３−１１６０６１号公報
【非特許文献１】椿・相澤共著,「ＣＣＤにおける斜め画素混合の検討」,映像メディア学会誌,第58巻,第3号,p.392-395,2004年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の同色画素混合法では、次のような問題点がある。
【０００８】
例えば、カラーフィルタアレイ(ＣＦＡ)としてベイヤー配列を採用する固体撮像素子に対して、同色画素混合法を適用する場合に、空間的に離れた画素同士を混合する必要があるので、解像度が低下してしまい、高精細な画像が得られないといった問題が生じてしまう。
【０００９】
上述した問題点を解決するために、例えば、特許文献２に開示された撮像装置では、空間的に隣接する４画素を混合する画素混合方法が開示されている。しかしながら、特許文献２に開示されているこの画素混合方法を用いた場合、効果的な出力、つまり、高精細な画像が得られるＣＦＡの種類は限られているといった問題が生じる。
【００１０】
例えば、現在、ＣＦＡとして一番幅広く利用されているベイヤー配列に対して、特許文献２に開示されている画素混合方法を適用することができない。これは、ベイヤー配列のＣＦＡを有する固体撮像素子に対して、特許文献２に開示されている画素混合方法を適用すると、混合後の色が一種類の色になってしまうといった問題が生じるからである。
【００１１】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、カラーフィルタアレイ(ＣＦＡ)を有する高画素の固体撮像素子を持つ撮像装置において、読出し画素数を低減しつつも高精細な画像を得ることが可能な、撮像素子における複数の画素を混合する画素混合方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合する画素混合方法に関し、本発明の上記目的は、空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行うことにより、或いは、前記画素混合演算は、重み付加算で、要するに、前記画素同士の各画素の画素値と、各画素に対応する好適な画素混合重みとを掛け合わせたものの加算であり、前記好適な画素混合重みは、前記画素混合演算に基づいて算出される色変換行列の安定性を表す所定のパラメータに基づいて決定されることにより、或いは、前記所定のパラメータは、前記色変換行列の条件数であり、前記条件数はcond(Ａ)で表し、次の式によって算出され、
2007019605.tif 000003
ただし、Ａは前記色変換行列を表し、また、ＡＴは前記色変換行列Ａの転置行列を表すものであり、前記好適な画素混合重みは、下記ステップ１〜ステップ５によって求められることによって効果的に達成される。
ステップ１：
画素混合演算に利用される画素数（垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ個の画素、ただし、ｎ、ｍは自然数である）と、画素混合演算後の色の種類Ｌ（Ｌは３以上の整数である）の値を決め、そして、ｎ×ｍ×Ｌ個の画素混合重みの初期値を決定する。
ステップ２：
決定されたｎ×ｍ×Ｌ個の画素混合重みの値に基づいて、画素混合演算方程式を定義し、色変換行列を生成する。
ステップ３：
生成された色変換行列の条件数を計算する。
ステップ４：
算出された色変換行列の条件数が十分小さいか否かを判断し、十分小さいと判断された場合のｎ×ｍ×Ｌ個の画素混合重みの値を好適な画素混合重みにする。一方、条件数が十分小さいと判断されない場合に、ステップ５に進む。
ステップ５：
色変換行列の条件数を小さくするように、ｎ×ｍ×Ｌ個の画素混合重みの値を変更し、ステップ２に戻る。
【００１３】
また、本発明の上記目的は、ベイヤー配列のカラーフィルタアレイ(ＣＦＡ)を有し、且つ水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用される画素混合方法であって、前記固体撮像素子上の画素同士を混合することにより、或いは、空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行う画素混合演算ステップと、混合後色空間の色の種類及び前記画素混合演算方程式に基づいて、色変換行列を生成する色変換行列生成ステップと、生成された色変換行列に基づいて、混合後色空間から所望の色空間へ変換する所望色空間変換ステップとを有し、前記画素混合演算は、前記画素同士の各画素の画素値と、各画素に対応する好適な画素混合重みとを掛け合わせたものの加算であり、前記好適な画素混合重みは、前記色変換行列の条件数に基づいて決定され、前記色変換行列の条件数cond(Ａ)は、次の数式によって算出され、
2007019605.tif 000004
ただし、Ａは前記色変換行列を表し、また、ＡＴは前記色変換行列Ａの転置行列を表すことによって効果的に達成される。
【００１４】
また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の４画素混合において、前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000005
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍd22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000006
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000007
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000008
ただし、（ＡＴＡ）−１はＡＴＡの逆行列を表すことによって効果的に達成される。
【００１５】
また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝２画素、水平方向ｍ＝２画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の４画素混合において、前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000009
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍa22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000010
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000011
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000012
ただし、Ａ−１はＡの逆行列を表すことにより、或いは、前記好適な画素混合重みcijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いることによって効果的に達成される。
2007019605.tif 000013
また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は４種類の場合に、要するに、混合後４色方式の９画素混合において、前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000014
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍd22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000015
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000016
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000017
ただし、（ＡＴＡ）−１はＡＴＡの逆行列を表すことによって効果的に達成される。
【００１６】
また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向ｎ＝３画素、水平方向ｍ＝３画素で、画素混合演算後の色は３種類の場合に、要するに、混合後３色方式の９画素混合において、前記画素混合演算方程式は、次の数式によって定義され、
2007019605.tif 000018
ただし、Ｍa11,Ｍb12,Ｍc21,Ｍa22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Ａは、次の数式によって定義され、
2007019605.tif 000019
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
2007019605.tif 000020
混合後色空間からＲＧＢ色空間への変換は、次の数式に基づいて行われ、
2007019605.tif 000021
ただし、Ａ−１はＡの逆行列を表すことにより、或いは、前記好適な画素混合重みcijを決定する際に使用される前記色変換行列Ａの条件数cond(Ａ)の代わりに、次の数式で表す行列Ｂの条件数を用いることによって効果的に達成される。
2007019605.tif 000022
【発明の効果】
【００１７】
本発明に係る画素混合方法を、カラーフィルタアレイ(ＣＦＡ)を有する高画素の固体撮像素子を持つ撮像装置に適用すれば、撮像素子における空間的に隣接する画素同士の画素値を混合するようにし、そして、これら空間的に隣接する画素同士の画素値を混合する際に、各画素に対して適切な重み（つまり、画素混合重み）を付けて混合するようにしているので、従って、カラーフィルタアレイ(ＣＦＡ)の種類に制限されず、例え、ベイヤー配列を採用した固体撮像素子を持つ撮像装置であっても、読出し画素数を低減しつつも高精細な画像を得るができるといった優れた効果を奏する。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
【００１９】
本発明は、高画素の固体撮像素子を持つ撮像装置（例えば、百万画素単位の画素数を有するＣＣＤ型撮像素子を採用したデジタルカメラ）において、その固体撮像素子から出力される動画像としての画像信号数、つまり、動画像として読み出せる画素数に限界があるといった問題点を解決するために、動画像としての画像信号数を削減するための画素混合方法である。
【００２０】
つまり、本発明の画素混合方法は、カラーフィルタアレイ(ＣＦＡ)を有し、且つ水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用され、固体撮像素子における所定の複数の画素を混合する画素混合方法である。
【００２１】
要するに、本発明に係る画素混合方法の着眼点としては、カラーフィルタアレイ(ＣＦＡ)を有し、且つ、水平方向及び垂直方向に２次元状に配置された複数の画素を有する固体撮像素子において、空間的に隣接する画素同士の画素値を混合し、そして、これら空間的に隣接する画素同士の画素値を混合する際に、各画素に対して重み（つまり、画素混合重み）を付けて混合するようにし、即ち、空間的に隣接する画素同士に対する画素混合演算を重み付加算（つまり、加重加算）とすることで、画素数を削減しつつも動解像度が良好で高精細な動画像が得られるようにしたところである。
【００２２】
また、本発明では、この画素混合重みを適切に設計することによって、つまり、適切な画素混合重みに基づいて、画素混合演算が行われれば、動解像度が良好で高精細な動画像が得られる。そして、本発明において、画素混合重みが適切であるかどうかを判断する方法、つまり、適切な画素混合重みの求め方も同時に示す。
【００２３】
本発明の画素混合方法において、固体撮像素子上の空間的に隣接する画素同士に対して画素混合演算を行った後の色の種類、つまり、画素混合演算後の色の種類が、Ｌ種類である。ただし、Ｌは３以上の整数である。
【００２４】
また、本発明の画素混合方法において、一回の画素混合演算に利用される画素数が、固体撮像素子における垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ個の互いに空間的に隣接する画素である。ただし、ｎ、ｍは自然数である。
【００２５】
本発明の画素混合方法では、空間的に隣接する画素同士に対する画素混合演算とは、画素混合演算に利用される各画素の画素値と、実数の値を有する画素混合重みとを掛け合わせたものの加算を意味し、つまり、画素混合演算は後述する画素混合演算方程式に定義される。
【００２６】
本発明では、また、この画素混合重みに基づき、画素混合前の色空間（例えば、ＲＧＢ色空間）から画素混合後の色空間（以下、単に、画素混合後色空間、又は、混合後色空間とも称する）に変換する色変換行列を生成することができる。そして、生成された色変換行列の条件数を求め、求めた色変換行列の条件数に基づき、最適な画素混合重みを設計するようにしている。
【００２７】
画素混合後の画像は、各画素に対して１つの色の画素値しか有しないので、画素混合後色空間において補間することにより、各画素は混合後色空間の全ての画素値を有することになる。
【００２８】
最後に、本発明では、最適な画素混合重みに基づいて色変換行列を求め、そして、求めた色変換行列に基づいて混合後色空間から所望の色空間（例えば、ＲＧＢ色空間）に変換することで、画素混合による画像が得られるわけである。
【００２９】
なお、本発明では、画素混合重みを設計する際のパラメータとして、色変換行列の条件数だけではなく、例えば、色変換行列の安定性を表す他の指標を利用することが可能であることは言うまでも無い。
【００３０】
以下、図１のフローチャートを参照しながら、本発明の画素混合方法において、画素混合演算に必要な画素混合重みの設計方法（つまり、好適な画素混合重みの求め方）を説明する。
【００３１】
本発明の画素混合方法を適用する際に、画素混合演算に必要な好適な画素混合重みは、下記ステップＳ１０〜ステップＳ６０を経て決定される。
ステップＳ１０（画素混合重みの初期値の設定）：
まず、画素混合演算に利用される画素数と、画素混合演算後の色の種類を決め、つまり、ｎ,ｍ及びＬの値を決め、そして、ｎ×ｍ×Ｌ個の画素混合重みの初期値を決定する。
ステップＳ２０（色変換行列の生成）：
ｎ×ｍ×Ｌ個の画素混合重みの値に基づいて、画素混合演算方程式を定義し、色変換行列を生成する。
ステップＳ３０（色変換行列の条件数の算出）：
生成された色変換行列の条件数を計算する。
ステップＳ４０（好適な画素混合重みが得られたか否かの判断）：
算出された色変換行列の条件数が十分小さいか否かを判断し、十分小さいと判断された場合に、ステップＳ６０に進む。一方、条件数が十分小さいと判断されない場合に、ステップＳ５０に進む。
ステップＳ５０（画素混合重みの調整）：
条件数が十分小さいと判断されない場合とは、画素混合演算に好適な画素混合重みが得られていないことを意味し、よって、色変換行列の条件数を小さくするように、ｎ×ｍ×Ｌ個の画素混合重みの値を変更し、ステップＳ２０に戻る。
ステップＳ６０：（好適な画素混合重みの決定）
条件数が十分小さいと判断された場合とは、画素混合演算に好適な画素混合重みが得られたことを意味し、よって、色変換行列の条件数が十分小さいと判断された時のｎ×ｍ×Ｌ個の画素混合重みの値を好適な画素混合重みにする。
【００３２】
上記ステップＳ１０〜ステップＳ６０といった手順に基づいて、本発明の画素混合方法で使用される画素混合重みが決定される。
【００３３】
上記のように、一旦、画素混合重みが決定すれば、ＣＦＡを有する固体撮像素子を持つ撮像装置に本発明の画素混合方法を適用して得られた画素混合結果に基づいて、高精細な画像が得られるわけである。
【００３４】
以下、幾つかの具体的な実施例を通して、本発明の画素混合方法をより詳細に説明する。なお、これらの実施例において、ＣＦＡとして、ベイヤー配列を有するものを使用するが、本発明はそれに限定されることがなく、他のＣＦＡを使用することも可能であることは、言うまでも無い。
実施例１＜４画素混合方法（混合後４色方式）＞
図２を参照しながら、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した４画素混合方法（混合後４色方式）を説明する。
【００３５】
図２では、Ｍa11,Ｍb12,Ｍc21,Ｍd22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表す。ここで言う「混合後４色方式の４画素混合方法」とは、Ｍa11,Ｍb12,Ｍc21,Ｍd22に対して、それぞれ異なる画素混合演算を適用する画素混合方法である。
【００３６】
まず、混合後４色方式の４画素混合方法における画素混合演算は、下記数１によって定義される。
【００３７】
【数１】
2007019605.tif 000023
ここで、数１で表す連立方程式を「画素混合演算方程式」と呼ぶ。また、cijは画素混合重みを表す実数である。以下、cijを画素混合重みと称する。具体的に、c11は画素Ｇ11に対する画素混合重みで、c12は画素Ｒ12に対する画素混合重みで、c21は画素Ｂ21に対する画素混合重みで、c22は画素Ｇ22に対する画素混合重みで、c13は画素Ｇ13に対する画素混合重みで、c14は画素Ｒ14に対する画素混合重みで、c23は画素Ｂ23に対する画素混合重みで、c24は画素Ｇ24に対する画素混合重みで、c31は画素Ｇ31に対する画素混合重みで、c32は画素Ｒ32に対する画素混合重みで、c41は画素Ｂ41に対する画素混合重みで、c42は画素Ｇ42に対する画素混合重みで、c33は画素Ｇ33に対する画素混合重みで、c34は画素Ｒ34に対する画素混合重みで、c43は画素Ｂ43に対する画素混合重みで、c44は画素Ｇ44に対する画素混合重みである。
【００３８】
ここで、上記数1に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数２で表す関係が得られる。
【００３９】
【数２】
2007019605.tif 000024
このとき、係数aijと画素混合重みcijとの間には、下記数３で表す関係が成立する。つまり、aijは画素混合重みcijによって定められる実数値を有する係数である。
【００４０】
【数３】
2007019605.tif 000025
ここで、下記数４によって定義される行列Ａを、「色変換行列」と呼ぶ。
【００４１】
【数４】
2007019605.tif 000026
画素混合重みの設計手順にも述べたように、上記数４で表す色変換行列Ａは、画素混合重みcijを設計する際に利用される。色変換行列Ａの条件数cond(Ａ)は、下記数５によって定義される。
【００４２】
【数５】
2007019605.tif 000027
ここで、ＡＴは色変換行列Ａの転置行列を表す。
【００４３】
数５で表す条件数cond(Ａ)は、その値が小さいほど、変換が安定であることを示す。ちなみに、色変換行列Ａの条件数cond(Ａ)の最小値は１である。
【００４４】
混合後４色方式の４画素混合方法の場合、混合後色空間から所望の色空間（本実施例では、ＲＧＢ色空間）への変換は、下記数６に基づいて行われる。
【００４５】
【数６】
2007019605.tif 000028
ここで、（ＡＴＡ）−１はＡＴＡの逆行列を表す。
実施例２＜４画素混合方法（混合後３色方式）＞
次に、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した４画素混合方法（混合後３色方式）を説明する。
【００４６】
ここで言う「混合後３色方式の４画素混合方法」とは、図２のＭa11,Ｍb12,Ｍc21,Ｍd22に対して、Ｍa11とＭd22または、Ｍb12とＭc21が同色となるような画素混合方法である。
【００４７】
混合後３色方式の４画素混合方法における画素混合演算は、下記数７で表す画素混合演算方程式に基づいて行われる。
【００４８】
なお、数７の画素混合演算方程式に係る「混合後３色方式の４画素混合方法」は、Ｍa11とＭd22が同色となる画素混合方法を意味する。
【００４９】
【数７】
2007019605.tif 000029
ただし、cijは画素混合重みである。
【００５０】
ここで、上記数７に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数８で表す関係が得られる。
【００５１】
【数８】
2007019605.tif 000030
このとき、係数aijと画素混合重みcijとの間には、下記数９で表す関係が成立する。
【００５２】
【数９】
2007019605.tif 000031
ここで、混合後３色方式の４画素混合方法の場合、色変換行列Ａは、下記数１０によって定義される。
【００５３】
【数１０】
2007019605.tif 000032
上記数１０で表す色変換行列Ａの条件数cond(Ａ)は、画素混合重みcijを設計する際に利用され、下記数１１によって定義される。
【００５４】
【数１１】
2007019605.tif 000033
ここで、ＡＴは色変換行列Ａの転置行列を表す。
【００５５】
混合後４色方式の４画素混合方法の場合と同様に、上記数１１で表す条件数cond(Ａ)は、その値が小さいほど変換が安定であることを示し、その最小値は１である。
【００５６】
混合後３色方式の４画素混合方法の場合、混合後色空間からＲＧＢ色空間への変換は、下記数１２に基づいて行われる。
【００５７】
【数１２】
2007019605.tif 000034
ここで、Ａ−１はＡの逆行列を表す。
【００５８】
なお、混合後３色方式の４画素混合方法の場合には、画素混合重みcijを設計する際に使用される色変換行列Ａの条件数cond(Ａ)の代わりに、下記数１３で表す行列Ｂの条件数を利用することもできる。
【００５９】
【数１３】
2007019605.tif 000035
実施例３＜９画素混合方法（混合後４色方式）＞
図３を参照しながら、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した９画素混合方法（混合後４色方式）を説明する。
【００６０】
図３では、Ｍa11,Ｍb12,Ｍc21,Ｍd22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表す。ここで言う「混合後４色方式の９画素混合方法」とは、Ｍa11,Ｍb12,Ｍc21,Ｍd22に対して、それぞれ異なる画素混合演算を適用する画素混合方法である。
【００６１】
本発明の画素混合方法を適用した９画素混合の場合も、本発明を適用した４画素混合の場合と同様に、画素混合演算方程式及び色変換行列を定義することができる。
【００６２】
まず、混合後４色方式の９画素混合方法における画素混合演算は、下記数１４で表す画素混合演算方程式に基づいて行われる。
【００６３】
【数１４】
2007019605.tif 000036
ただし、cijは画素混合重みである。
【００６４】
ここで、上記数１４に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数１５で表す関係が得られる。
【００６５】
【数１５】
2007019605.tif 000037
このとき、係数aijと画素混合重みcijとの間には、下記数１６で表す関係が成立する。
【００６６】
【数１６】
2007019605.tif 000038
ここで、混合後４色方式の９画素混合方法の場合、色変換行列Ａは、下記数１７によって定義される。
【００６７】
【数１７】
2007019605.tif 000039
上記数１７で表す色変換行列Ａの条件数cond(Ａ)は、画素混合重みcijを設計する際に利用され、下記数１８によって定義される。
【００６８】
【数１８】
2007019605.tif 000040
ここで、ＡＴは色変換行列Ａの転置行列を表す。
【００６９】
上記数１８で表す条件数cond(Ａ)は、その値が小さいほど変換が安定であることを示し、その最小値は１である。
【００７０】
混合後４色方式の９画素混合方法の場合、混合後色空間から所望の色空間（本実施例では、ＲＧＢ色空間）への変換は、下記数１９に基づいて行われる。
【００７１】
【数１９】
2007019605.tif 000041
ここで、（ＡＴＡ）−１はＡＴＡの逆行列を表す。
実施例４＜９画素混合方法（混合後３色方式）＞
次に、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した９画素混合方法（混合後３色方式）を説明する。
【００７２】
ここで言う「混合後３色方式の９画素混合方法」とは、図３のＭa11,Ｍb12,Ｍc21,Ｍd22に対して、Ｍa11とＭd22または、Ｍb12とＭc21が同色となるような画素混合方法である。
【００７３】
混合後３色方式の９画素混合方法における画素混合演算は、下記数２０で表す画素混合演算方程式に基づいて行われる。
【００７４】
なお、数２０の画素混合演算方程式に係る「混合後３色方式の９４画素混合方法」は、Ｍa11とＭd22が同色となる画素混合方法を意味する。
【００７５】
【数２０】
2007019605.tif 000042
ただし、cijは画素混合重みである。
【００７６】
ここで、上記数２０に対して、色に関する情報のみに着目することにより、色空間の変換として、下記数２１で表す関係が得られる。
【００７７】
【数２１】
2007019605.tif 000043
このとき、係数aijと画素混合重みcijとの間には、下記数２２で表す関係が成立する。
【００７８】
【数２２】
2007019605.tif 000044
ここで、混合後３色方式の９画素混合方法の場合、色変換行列Ａは、下記数２３によって定義される。
【００７９】
【数２３】
2007019605.tif 000045
上記数２３で表す色変換行列Ａの条件数cond(Ａ)は、画素混合重みcijを設計する際に利用され、下記数２４によって定義される。
【００８０】
【数２４】
2007019605.tif 000046
ここで、ＡＴは色変換行列Ａの転置行列を表す。
【００８１】
混合後４色方式の９画素混合方法の場合と同様に、上記数２４で表す条件数cond(Ａ)は、その値が小さいほど変換が安定であることを示し、その最小値は１である。
【００８２】
混合後３色方式の９画素混合方法の場合、混合後色空間からＲＧＢ色空間への変換は、下記数２５に基づいて行われる。
【００８３】
【数２５】
2007019605.tif 000047
ここで、Ａ−１はＡの逆行列を表す。
【００８４】
なお、混合後３色方式の９画素混合方法の場合には、画素混合重みcijを設計する際に使用される色変換行列Ａの条件数cond(Ａ)の代わりに、下記数２６で表す行列Ｂの条件数を利用することもできる。
【００８５】
【数２６】
2007019605.tif 000048
以上のように、本発明の画素混合方法を４画素混合（ｎ＝ｍ＝２）及び９画素混合（ｎ＝ｍ＝３）に適用した実施例について詳細に説明したが、以下、本発明の画素混合方法を４画素混合（ｎ＝ｍ＝２）と９画素混合（ｎ＝ｍ＝３）に適用する際に、高精細な画像が得られる、好適な画素混合重みと色変換行列の具体例を示す。
【００８６】
先ず、ベイヤー配列を有する固体撮像素子に本発明を適用した４画素混合方法における好適な画素混合重みと色変換行列の具体例（全部で２つの例）を示す。
＜１−１＞混合後４色方式の４画素混合方法
図４に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後４色方式の４画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図４において、Ｍa11,Ｍb12,Ｍc21,Ｍd22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
【００８７】
図４に示す画素混合重みに対応する画素混合演算方程式は、下記数２７になる。
【００８８】
【数２７】
2007019605.tif 000049
図４に示す画素混合重みは、数式で表すと、下記数２８で示す通りである。
【００８９】
【数２８】
2007019605.tif 000050
数２８で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数２９になる。
【００９０】
【数２９】
2007019605.tif 000051
ちなみに、数２９で表す色変換行列Ａの条件数cond(Ａ)は２.０である。
＜１−２＞混合後３色方式（ＭaとＭdが同色の場合）の４画素混合方法
図５に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の４画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図５において、Ｍa11,Ｍb12,Ｍc21,Ｍa22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
【００９１】
図５に示す画素混合重みに対応する画素混合演算方程式は、下記数３０になる。
【００９２】
【数３０】
2007019605.tif 000052
図５に示す画素混合重みは、数式で表すと、下記数３１で示す通りである。
【００９３】
【数３１】
2007019605.tif 000053
数３１で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数３２になる。
【００９４】
【数３２】
2007019605.tif 000054
また、数３１で示す画素混合重みに基づいて生成された行列Ｂは、下記数３３になる。
【００９５】
【数３３】
2007019605.tif 000055
ちなみに、数３３で表す行列Ｂの条件数は２.０である。
次に、ベイヤー配列を有する固体撮像素子に本発明を適用した、混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法における好適な画素混合重みと色変換行列の具体例（全部で５つの例）を示す。
＜２−１＞具体例その１
図６に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図６において、Ｍa11,Ｍb12,Ｍc21,Ｍa22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
【００９６】
図６に示す画素混合重みに対応する画素混合演算方程式は、下記数３４になる。
【００９７】
【数３４】
2007019605.tif 000056
図６に示す画素混合重みは、数式で表すと、下記数３５で示す通りである。
【００９８】
【数３５】
2007019605.tif 000057
数３５で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数３６になる。
【００９９】
【数３６】
2007019605.tif 000058
ちなみに、数３６で表す色変換行列Ａの条件数cond(Ａ)は２.６６である。
＜２−２＞具体例その２
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法における好適な画素混合演算方程式は、下記数３７によって定義される。
【０１００】
【数３７】
2007019605.tif 000059
数３７の画素混合演算方程式に対応する画素混合重みは、数式で表すと、下記数３８で示す通りである。
【０１０１】
【数３８】
2007019605.tif 000060
数３８で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数３９になる。
【０１０２】
【数３９】
2007019605.tif 000061
ちなみに、数３９で表す色変換行列Ａの条件数cond(Ａ)は１.９３である。
＜２−３＞具体例その３
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法における好適な画素混合演算方程式は、下記数４０によって定義される。
【０１０３】
【数４０】
2007019605.tif 000062
数４０の画素混合演算方程式に対応する画素混合重みは、数式で表すと、下記数４１で示す通りである。
【０１０４】
【数４１】
2007019605.tif 000063
数４１で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数４２になる。
【０１０５】
【数４２】
2007019605.tif 000064
ちなみに、数４２で表す色変換行列Ａの条件数cond(Ａ)は１.９３である。
＜２−４＞具体例その４
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法における好適な画素混合演算方程式は、下記数４３によって定義される。
【０１０６】
【数４３】
2007019605.tif 000065
数４３の画素混合演算方程式に対応する画素混合重みは、数式で表すと、下記数４４で示す通りである。
【０１０７】
【数４４】
2007019605.tif 000066
数４４で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数４５になる。
【０１０８】
【数４５】
2007019605.tif 000067
ちなみに、数４５で表す色変換行列Ａの条件数cond(Ａ)は１.８５である。
＜２−５＞具体例その５
図７に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字（例えば、Ｇ、Ｒ、Ｂ、）は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図７において、Ｍa11,Ｍb12,Ｍc21,Ｍa22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
【０１０９】
図７に示す画素混合重みに対応する画素混合演算方程式は、下記数４６になる。
【０１１０】
【数４６】
2007019605.tif 000068
図７に示す画素混合重みは、数式で表すと、下記数４７で示す通りである。
【０１１１】
【数４７】
2007019605.tif 000069
数４７で示す画素混合重みに基づいて生成された色変換行列Ａは、下記数４８になる。
【０１１２】
【数４８】
2007019605.tif 000070
また、数４７で示す画素混合重みに基づいて生成された行列Ｂは、下記数４９になる。
【０１１３】
【数４９】
2007019605.tif 000071
ちなみに、数４９で表す行列Ｂの条件数は１.８４である。
図８に、本発明の画素混合方法を適用した９画素混合結果と、従来の同色画素混合法による混合結果を示す。図８では、９画素混合に対しては、カラー画像の再構成にはバイキュービック補間を利用した。また、従来の同色画素混合方法には、混合後の画素位置が不等間隔となる方法と、等間隔になる方法が存在するので、それぞれとの比較を行った。
【０１１４】
具体的に、図８（Ａ）は混合後の画素位置が不等間隔となる従来の同色画素混合法による混合結果を示し、図８（Ｂ）は混合後の画素位置が等間隔となる従来の同色画素混合法による混合結果を示す。
【０１１５】
また、図８（Ｃ）は、＜２−４＞具体例その４で示した、本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法による混合結果を示す。そして、図８（Ｄ）は、＜２−１＞具体例その１で示した、本発明の画素混合方法を適用した混合後３色方式（ＭaとＭdが同色の場合）の９画素混合方法による混合結果を示す。
【０１１６】
図８から、本発明を適用した二つの９画素混合方法による混合結果ともに、従来の同色画素混合方法による混合結果に比べて、目視でも解像感が増していることがよく分かる。また、従来の同色画素混合方法による混合結果と比較すると、本発明の９画素混合方法による混合結果のＰＳＮＲの値が向上しているので、よって、定量的にも本発明の画素混合方法を用いれば高精細な画像が得られるといった効果を確認することができた。
【図面の簡単な説明】
【０１１７】
【図１】本発明の画素混合方法において、画素混合重みの設計手順を示すフローチャートである。
【図２】ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した４画素混合方法（ｎ＝ｍ＝２）を説明するための模式図である。
【図３】ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した９画素混合方法（ｎ＝ｍ＝３）を説明するための模式図である。
【図４】ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後４色方式の４画素混合における好適な画素混合重みの一例を示す図である。
【図５】ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の４画素混合における好適な画素混合重みの一例を示す図である。
【図６】ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の９画素混合における好適な画素混合重みの一例を示す図である。
【図７】ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後３色方式の９画素混合における好適な画素混合重みの他の例を示す図である。
【図８】本発明の画素混合方法を適用した９画素混合結果と、従来の同色画素混合法による混合結果を示す図である。
【図１】
2007019605.tif 000099
【図２】
2007019605.tif 000100
【図３】
2007019605.tif 000101
【図４】
2007019605.tif 000102
【図５】
2007019605.tif 000103
【図６】
2007019605.tif 000104
【図７】
2007019605.tif 000105
【図８】
2007019605.tif 000106