(57)【要約】【課題】偽色を低減させ、且つ高解像度のカラー撮像素子を提供する。【解決手段】配列合成部２０４は、ＲＲ´ランダム配列パターンＳ２１が示す各画素の間に一画素分の間隔が開くように並べ替え、ＢＢ´ランダム配列パターンＳ２２の各画素の間に一画素分の間隔が開くように並べ替え、ＧＧ´規則配列パターンＳ２３の規則的配列を市松の配列に並べ替て、これらを合成することで一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。【選択図】図１
2011142689.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子であって、
任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成工程と、
残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成工程と、
前記ランダム配列生成工程で生成した前記ランダム配列パターンと、前記規則配列生成工程で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成工程と
により生成されたカラー撮像素子。
【請求項２】
前記ランダム配列生成工程は、
規則的に並べられた色フィルタパターンに対し、ランダムに注目画素位置を選び、
前記注目画素位置に割り当てる色を他の色に置き換え、
前記注目画素位置を含む規定された大きさの領域内に割り当てられた色の存在頻度が所望の誤差範囲に収まらない場合には、前記注目画素位置に割り当てる色を前記置き換え前の色に戻す
請求項１に記載の工程により生成されたカラー撮像素子。
【請求項３】
前記ランダム配列生成工程は、
連続値、もしくは所定の量子化ビット数で表された離散値を画素値として持つホワイトノイズ画像に対し、ハイパスフィルタ処理を施して得た画像の画素値を量子化して、一つの画素値に一つの色を対応させる処理を行う
請求項１に記載の工程により生成されたカラー撮像素子。
【請求項４】
第１の赤色、第１の青色および第１の緑色を含む６色のうち、前記第１の赤色に最も近い第２の赤色と、前記第１の青色に最も近い第２の青色と、前記第１の緑色に最も近い第２の緑色とを規定した場合において、
前記ランダム配列生成工程は、前記第１の赤色と前記第２の赤色とをランダムに配列した第１のランダム配列パターンを生成し、前記第１の青色と前記第２の青色とをランダムに配列した第２のランダム配列パターンを生成し、
前記規則配列生成工程は、前記第１の緑色と前記第２の緑色とを規則的に配列した規則
配列パターンを生成し、
前記色フィルタ生成工程は、前記第１のランダム配列パターンと、前記第２のランダム配列パターンと、前記規則配列パターンとを規則的に合成して前記色フィルタパターンを
生成する
請求項１に記載の工程により生成されたカラー撮像素子。
【請求項５】
前記ランダム配列生成工程は、赤色と、青色とをランダムに配列したランダム配列パターンを生成し、
前記規則配列生成工程は、緑色を規則的に配列した規則配列パターンを生成し、
前記色フィルタ生成工程は、前記ランダム配列パターンと、前記規則配列パターンとを規則的に合成して前記色フィルタパターンを生成する
請求項１に記載の工程により生成されたカラー撮像素子。
【請求項６】
光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子であって、
任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成手段と、
残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成手段と、
前記ランダム配列生成手段で生成した前記ランダム配列パターンと、前記規則配列生成手段で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成手段と
を備える装置から生成されたカラー撮像素子。
【請求項７】
前記ランダム配列生成手段は、
規則的に並べられた色フィルタパターンに対し、ランダムに注目画素位置を選び、
前記注目画素位置に割り当てる色を他の色に置き換え、
前記注目画素位置を含む規定された大きさの領域内に割り当てられた色の存在頻度が所望の誤差範囲に収まらない場合には、前記注目画素位置に割り当てる色を前記置き換え前の色に戻す
請求項６に記載の装置から生成されたカラー撮像素子。
【請求項８】
前記ランダム配列生成手段は、
連続値、もしくは所定の量子化ビット数で表された離散値を画素値として持つホワイトノイズ画像に対し、ハイパスフィルタ処理を施して得た画像の画素値を量子化して、一つの画素値に一つの色を対応させる処理を行う
請求項６に記載の装置から生成されたカラー撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラをはじめとする、固体撮像素子及び固体撮像素子を利用したカラー撮像素子に関するものである。
【背景技術】
【０００２】
例えば、単板式の固体撮像素子を用いた撮影装置では、そのまま撮影しても単一の分光感度しか得られない。このため、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行なう方法が一般的となっている。撮像された画像は、画素毎には1つの色しか得ることができず、色に関してモザイク状になった画像が生成される。しかし、周囲の画素から得られる色情報を利用して補間を行なうことにより、全画素で全ての色がそろった画像を生成することができる。このような補間処理は色分離処理と呼ばれる。
しかし、離散的に各色がサンプリングされているため撮影画像にナイキスト周波数を超える高周波成分が含まれている場合、エイリアシング(高周波成分の低周波領域への折り返し)が起き、本来と異なる色を推定してしまうという問題があった。
【０００３】
以上の問題に対して、色フィルタ配列の規則性を減らし、偽色の発生を抑制しようとする発明がなされてきた。FillFactory社（２００４年にCypress社に買収された）の提案するpseudo-random Bayer（擬似ランダム・ベイヤー）配列では、Gが市松状に配置され、残った画素位置にR,Bが擬似ランダムに配置される、3色G市松擬似ランダム配列が示されている。
【０００４】
特開2000-316169号公報「吉田英明.“カラー撮像素子及びカラー撮像装置”」では、注目画素位置の４辺又は４角で6色の色フィルタと隣接するという条件の6色ランダム配列が示されている。
【０００５】
ＥＰ公告公報、第0,804,037号,(A2)「Mutze, Ulrich, Dr. “Process and system for generating a full color image or multispectral image from the image data of a CCD image sensor with a mosaic color filter.”」では5色で3x3の繰り返しパターンを持つ配列と、擬似ランダムなパターンを持つ配列が示されている。
【０００６】
FillFactory社のpseudo-random Bayer配列ではR,Bの配列が擬似ランダムとはいえ繰り返し周期が短いため、空間周波数領域における偽色の発生位置がBayerと多少異なるだけで、実質的には偽色低減の効果は見られず、後者２つは前者よりもランダム性を強めているので偽色低減の効果は期待できるが、全色を区別無くランダムに並べているため解像度の面ではＧが市松に存在し、特許第2931520号公報に見られる相関処理が使えるBayer配列やpseudo-random Bayer配列に比べて不利になるという問題があった。
偽色を低減させるためには、配列の一部の色がランダムに配置されている必要があり、
解像度の再現性を上げるためには、配列の一部の色が規則的に配置されている必要がある。
また、注目画素に存在しない色を周りの画素から補間するためには、たとえ一部の色がランダムに配置されていても、全ての色が必ず近傍に存在していなければならない。
以上の条件を全て満たす配列を生成する方法はこれまで知られていなかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2000-316169号公報
【特許文献２】ＥＰ公告公報第0,804,037号(A2)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来、単板カラー撮像素子に使用される色フィルタ（フィルタ）をランダムに配置する発明がなされてきたが、偽色の低減効果が得られる配列であっても、代わりに解像度の低下を招くものであった。
本発明は偽色を低減させ、且つ高解像度のカラー撮像素子を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明のカラー撮像素子は、光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子であって、任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成工程と、残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成工程と、前記ランダム配列生成工程で生成した前記ランダム配列パターンと、前記規則配列生成工程で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成工程とにより生成されたカラー撮像素子である。
【００１０】
また、第２の発明のカラー撮像素子は、光電変換素子からなる画素を複数個配列した画素群を有するカラー撮像素子であって、任意の画素位置について、当該画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように、一部の色の画素をランダムに配列したランダム配列パターンを生成するランダム配列生成手段と、残りの色の画素を規則的に配置した規則配列パターンを生成する規則配列生成手段と、前記ランダム配列生成手段で生成した前記ランダム配列パターンと、前記規則配列生成手段で生成した規則配列パターンとを規則的に合成して色フィルタパターンを生成する色フィルタ生成手段とを備える装置から生成されたカラー撮像素子である。
【００１１】
本発明で述べるランダムという言葉は、完全なランダムを意味するものではない。
完全にランダムな色配列を生成した場合、局所における色の存在頻度は必ずしも安定しない。
本発明では、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まり、かつ十分に規則性が失われた色フィルタ配置になっている色フィルタ配列のことをランダム配列と呼び、規則的に色が配置されている色フィルタ配列のことを規則的配列と呼ぶ。
さらに、ランダム配列と規則的配列を合成して作られた配列を一部ランダム配列と呼ぶ。
また、規定された大きさの領域のことを局所領域と呼ぶ。
局所領域に関しては、簡単には単一の矩形領域を指定しても構わないし、矩形、非矩形を問わず複数の領域を指定しても構わない。
複数の領域を指定する場合には、それぞれの領域で異なる存在頻度の許容誤差範囲を定めてもよい。
【００１２】
本発明により得られた一部ランダム配列もまた、注目画素位置を含む局所領域における色の存在頻度が所望の誤差範囲に収まる。
ただし、一部ランダム配列における局所領域と、ランダム配列における局所領域とは別物であり、それぞれの領域内において期待される色の存在頻度もまた別物である。
一部ランダム配列はランダム配列と規則的配列を規則的に合成したものである。
そのため、一部ランダム配列に関して局所領域と期待される色の存在頻度を規定すると、合成手順を考慮することによって、逆にランダム配列に関する局所領域と期待される色の存在頻度を規定することができる。
つまり、一部ランダム配列に対して色分離処理を行うのに十分な局所領域の大きさと色の存在頻度を規定することで、ランダム配列に要求される条件を定めることができる。
一部ランダム配列が持つ特徴として、配列の一部の色がランダムに配置されることで、偽色の低減効果が得られる点と、配列の一部の色が規則的に配置されることで、解像度の再現性向上が望める点が挙げられる。
【００１３】
また、本発明は、好ましくは、ランダムに色フィルタが配置された色フィルタ配列の生成方法が、任意の注目画素位置について、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるように規則的に色が並べられた色フィルタ配列に対し、ランダムに注目画素位置を選び、注目画素位置の色C1を別の色C2に置き換え、注目画素位置を含む規定された大きさの領域内に存在する色の存在頻度を調べ、存在頻度が所望の誤差範囲に収まらない場合には、注目画素位置の色をC1に戻す処理を繰り返し行うことを特徴とする。
このようなランダム色フィルタ配列の生成方法を用いることにより、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるようにランダムに色フィルタが配置されたランダム色フィルタ配列を生成することができる。
【００１４】
また、本発明は、好ましくは、ランダムに色フィルタが配置された色フィルタ配列の生成方法が、連続値、もしくは十分に大きな量子化ビット数で表された離散値を画素値として持つホワイトノイズ画像に対し、十分に低周波成分を抑制できるハイパスフィルタを適用して得られた画像の画素値を量子化し、一つの画素値に一つの色を対応させることを特徴とする。
このようなランダム色フィルタ配列の生成方法を用いることにより、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるようにランダムに色フィルタが配置されたランダム色フィルタ配列を生成することができる。
【発明の効果】
【００１５】
本発明によれば、偽色を低減させ、且つ高解像度のカラー撮像素子を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の第１実施形態に係わる画像処理装置１の全体構成図である。
【図２】図２は、図１に示す画像処理装置１が生成する色フィルタパターンを示す図である。
【図３】図３は、図１に示すＲＲ´ランダム配列生成部が生成するＲＲ´ランダム配列パターンを説明するための図である。
【図４】図４は、図１に示すＢＢ´ランダム配列生成部が生成するＢＢ´ランダム配列パターンを説明するための図である。
【図５】図５は、図１に示すＧＧ´規則的配列生成部が生成するＧＧ´規則配列パターンを説明するための図である。
【図６】図６は、規則配列パターンを説明するための図である。
【図７】図７は、ＲＲ´ランダム配列生成部が規則配列パターンを生成する手順を説明するための図である。
【図８】図８は、ＲＲ´ランダム配列生成部が図７に示す手順で生成した規則配列パターンを基に、ＲＲ´ランダム配列パターンを生成する手順を説明するためのフローチャートである。
【図９】図９は、ＲＲ´ランダム配列生成部による図８のステップST407 を詳細に表したフローチャートである。
【図１０】図１０は、ＧＧ´規則的配列生成部の処理を説明するためのフローチャートである。
【図１１】図１１は、配列合成部の処理を説明するためのフローチャートである。
【図１２】図１２は、本発明の第２実施形態におけるホワイトノイズ画像生成方法を説明するための図である。
【図１３】図１３は、m=2の時のコンボリューションフィルタの係数の例を示す図である。
【図１４】図１４は、ブルーノイズ画像生成部の処理を説明するためのフローチャートである。
【図１５】図１５は、本発明の第２実施形態のＲＲ´ランダム配列生成部の動作例を説明するためのフローチャートである。
【図１６】図１６は、図１７に示す画像処理装置３００が生成する色フィルタパターンを示す図である。
【図１７】図１７は、画像処理装置３００の構成を示すブロック図である。
【図１８】図１８は、図１７に示すランダム配列生成部が生成するＲＢランダム配列パターンを説明するための図である。
【図１９】図１９は、図１７に示す規則的配列生成部が生成するＧ規則配列パターンを説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態に係わるカラー撮像素子について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係わる画像処理装置１の全体構成図である。
図１に示すように、画像処理装置１は、例えば、ＲＲ´ランダム配列生成部２０１、ＢＢ´ランダム配列生成部２０２、ＧＧ´規則的配列生成部２０３および配列合成部２０４を有する。
画像処理装置１は、図２に示すような色フィルタパターンＳ１０を生成する。
色フィルタパターンＳ１０は、Gが水平及び垂直に1ラインおきに配置され、G´が水平及び垂直に1ラインおき、且つGとは異なるラインに配置されている。
また、R,R´がG,G´の存在しない画素位置で水平及び垂直に1ラインおきの画素位置にランダムに配置されている。
また、B,B´がR,R´,G,G´の存在しない画素位置でランダムに配置されている。
なお、上記R,R´B,B´G,G´はそれぞれ異なる色の画素（光電変換素子）、あるいはフィルタパターン上での位置を示す。 
また、R´は、B,B´,G,G´に比べてRに近い色に対応付けられている。
B´は、R,R´,G,G´に比べてBに近い色に対応付けられている。
G´は、R,R´B,B´に比べてGに近い色に対応付けられている。
なお、本実施形態において、R,R´は赤色を示し、B,B´は青色を示し、G,G´は緑色を示す。
【００１８】
図１に示す画像処理装置１では、ＲＲ´ランダム配列生成部２０１が、図３に示すように配列内にR,R´が含まれるＲＲ´ランダム配列パターンＳ２１を生成する。
ＢＢ´ランダム配列生成部２０２は、図４に示すように、配列内にB,B´が含まれるＢＢ´ランダム配列パターンＳ２２を生成する。
ＧＧ´規則的配列生成部２０３は、図５に示すように、配列内にG,G´のみが含まれるＧＧ´規則配列パターンＳ２３を生成する。
【００１９】
配列合成部２０４は、ＲＲ´ランダム配列パターンＳ２１が示す各画素の間に一画素分の間隔が開くように並べ替え、ＢＢ´ランダム配列パターンＳ２２の各画素の間に一画素分の間隔が開くように並べ替え、ＧＧ´規則配列パターンＳ２３の規則的配列を市松の配列に並べ替えて、これらを合成することで一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
【００２０】
以下、図１に示す画像処理装置１の各構成要素の詳細について説明する。
［ＲＲ´ランダム配列生成部２０１］
ＲＲ´ランダム配列生成部２０１は、先ず、図６に示すRとR´が規則的に配列されたn×n画素の規則配列パターンＳ３０を生成する。
図７は、ＲＲ´ランダム配列生成部２０１が規則配列パターンＳ３０を生成する手順を説明するための図である。
ＲＲ´ランダム配列生成部２０１は、ステップST301において処理を実行する画素位置を示す変数iを1に初期化し、ステップST302において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST303においてi+jを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST304において画素位置(i,j)の色をRとし、剰余が0でなければステップST305において画素位置(i,j)の色をR´とする。
図７中で用いられているColRR´(i,j)は画素位置(i,j)の色を表す。
以下、ColZ(x,y)は画素位置(x,y)の色を表すものとし、添え字Zの部分は配列を区別するために適宜、適当な文字列を付けることとする。
ColRR´(x,y)はRとR´からなる配列の色を示し、ColBB´(x,y)はBとB´からなる配列の色を示す。また、ColGG´(x,y)はGとG´からなる配列の色を示し、ColComp(x,y)は前記3つの配列を合成して得られる配列の色を示す。
【００２１】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST306においてj=nであるかどうかを判定し、j=nでなければステップST308においてjをj+1に更新し、ステップST303の処理に戻り、j=nであればステップST307に進む。
【００２２】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST307においてi=nであるかどうかを判定し、i=nでなければステップST309においてiをi+1に更新し、ステップST302の処理に戻り、i=nであればステップST310に進み、Ｒ，Ｒ´が規則的に配列されたn×n画素の規則配列パターンＳ３０を生成する。
【００２３】
図８は、ＲＲ´ランダム配列生成部２０１が図７に示す手順で生成した規則配列パターンＳ３０を基に、ＲＲ´ランダム配列パターンＳ２１を生成する手順を説明するためのフローチャートである。
ＲＲ´ランダム配列生成部２０１は、ステップST401において図７の手順で生成した規則配列パターンＳ３０を取得する。
ＲＲ´ランダム配列生成部２０１は、ステップST402においてループ回数を示す変数kを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST403において処理を実行する画素位置を示す変数xをn未満の正の整数値の乱数とし、ステップST404において処理を実行する画素位置を示す変数yをn未満の正の整数値の乱数とする。
このとき、乱数の生成方法は各種存在するが、生成された乱数の分布に偏りがないことが望ましく、例えば、M. Matsumoto and T. Nishimura, “Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator”, ACM Trans. on Modeling and Computer Simulation Vol. 8, No. 1, January pp.3-30に示されるMersenne Twister法による乱数を用いるとよい。
【００２４】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST405においてColRR´(x,y)を一時的に変数Cに記憶する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST406においてColRR´(x,y)をランダムでRかR´にする。ランダムでRかR´を選ぶには、例えば十分に大きな正の整数値の乱数に対して2で除算した剰余が0である時にRを選び、剰余が1である時にR´を選ぶようにすればよい。
【００２５】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST407において注目画素位置(x,y)を含む局所領域内に存在するR,R´の存在頻度が所望の誤差範囲に収まっているかどうかを調べる。
そして、ＲＲ´ランダム配列生成部２０１は、誤差範囲内に収まっていなければステップST410に進み、ColRR´(x,y)を元の色であるCにし、ステップST411においてkをk+1に更新してステップST403に戻る。一方、ＲＲ´ランダム配列生成部２０１は、誤差範囲内に収まっていればステップST408に進む。
【００２６】
ＲＲ´ランダム配列生成部２０１は、ステップST408において、kが最大ループ回数を示す定数MAXLOOP以下であればステップST411においてkをk+1に更新してステップST403に戻る。ｋが最大ループ回数を示す定数MAXLOOPより大きければ、ステップST409に進み、n×n画素のRR´のＲＲ´ランダム配列パターンＳ２１を出力して処理を終了する。
【００２７】
図９は、以下、ＲＲ´ランダム配列生成部２０１による図８のステップST407を詳細に表したフローチャートである。
本実施例では存在頻度を調べる際の局所領域を、注目画素位置(x,y)を含むm×m画素の単一の矩形領域とし、この矩形領域内に存在するRとR´の存在頻度が、定数const1より大きく、かつ定数const2より小さいかどうかを調べる。
【００２８】
ＲＲ´ランダム配列生成部２０１は、ステップST501において局所領域の位置を示す変数iをi=-m+1に初期化し、ステップST502において局所領域の位置を示す変数jをj=-m+1に初期化する。
また、ＲＲ´ランダム配列生成部２０１は、ステップST503において局所領域内に含まれているRの個数を示す変数aを0に初期化し、ステップST504において局所領域内に含まれているR´の個数を示す変数bを0に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST505において局所領域内で処理を実行する画素位置を示す変数sを0に初期化し、ステップST506において局所領域内で処理を実行する画素位置を示す変数tを0に初期化する。
【００２９】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST507においてColRR´(x+i+s,y+j+t)がRであるかどうかを調べる。ここで用いられる変数x,yは図８で用いられているものである。
ＲＲ´ランダム配列生成部２０１は、ColRR´(x+i+s,y+j+t)がRであれば、ステップST508においてaをa+1に更新し、ステップST510に進む。
一方、ＲＲ´ランダム配列生成部２０１は、ColRR´(x+i+s,y+j+t)がRでなければ、ステップST509においてbをb+1に更新し、ステップST510に進む。
【００３０】
ＲＲ´ランダム配列生成部２０１は、ステップST510においてt=m-1であるかどうかを判定し、t=m-1でなければステップST512においてtをt+1に更新し、ステップST507の処理に戻り、t=m-1であればステップST511に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST511においてs=m-1であるかどうかを判定し、s=m-1でなければステップST513においてsをs+1に更新し、ステップST506の処理に戻り、s=m-1であればステップST514に進む。
【００３１】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST514においてconst1<a/(a+b)<const2かつconst1<b/(a+b)<const2であるかを調べ、上記条件を満たしていない場合は、注目画素位置(x,y)を含む局所領域でのRとR´の存在頻度が所望の誤差範囲内に収まっていないと判定する。
ＲＲ´ランダム配列生成部２０１は、上記条件を満たしている場合は、ステップST515に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST515においてj=0であるかどうかを判定し、j=0でなければステップST517においてjをj+1に更新し、ステップST503の処理に戻り、j=0であればステップST516に進む。
【００３２】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST516においてi=0であるかどうかを判定し、i=0でなければステップST518においてiをi+1に更新し、ステップST502の処理に戻り、i=0であれば注目画素位置(x,y)を含む局所領域でのRとR´の存在頻度が所望の誤差範囲内に収まっていると判定する。
【００３３】
［ＢＢ´ランダム配列生成部２０２］
ＢＢ´ランダム配列生成部２０２の処理は、ＲＲ´ランダム配列生成部２０１によるR,R´に対しての処理と同じ処理（図７、図８および図９の処理）を、BとB´に対して行う。
【００３４】
［ＧＧ´規則的配列生成部２０３］
ＧＧ´規則的配列生成部２０３は、GとG´が規則的に配列されたn×2n画素の配列を示す、一部ランダム配列パターンである色フィルタパターンＳ１０を生成する。
図１０は、ＧＧ´規則的配列生成部２０３の処理を説明するためのフローチャートである。
ＧＧ´規則的配列生成部２０３は、ステップST601において処理を実行する画素位置を示す変数iを1に初期化し、ステップST602において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＧＧ´規則的配列生成部２０３は、ステップST603においてiを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST604においてColGG´(i,j)をGとし、剰余が0でなければステップST605においてColGG´(i,j)をG´とする。
【００３５】
次に、ＧＧ´規則的配列生成部２０３は、ステップST606においてj=nであるかどうかを判定し、j=nでなければステップST608においてjをj+1に更新し、ステップST603の処理に戻り、j=nであればステップST607に進む。
次に、ＧＧ´規則的配列生成部２０３は、ステップST607においてi=2nであるかどうかを判定し、i=2nでなければステップST609においてiをi+1に更新し、ステップST602の処理に戻り、i=2nであればステップST610に進み、n×2n画素のGG´規則的配列であるＧＧ´規則配列パターンＳ２３を出力して処理を終了する。
【００３６】
［配列合成部２０４］
配列合成部２０４は、ＲＲ´ランダム配列生成部２０１からのＲＲ´ランダム配列パターンＳ２１と、ＢＢ´ランダム配列生成部２０２からのＢＢ´ランダム配列パターンＳ２２と、ＧＧ´規則的配列生成部２０３からのＧＧ´規則配列パターンＳ２３とを基に、R、R´、B、B´、G、G´の6色からなる2n×2n画素の一部ランダム配列の図２に示す色フィルタパターンＳ１０を生成する。
【００３７】
図１１は、配列合成部２０４の処理を説明するためのフローチャートである。
配列合成部２０４は、ステップST701においてＲＲ´ランダム配列生成部２０１で生成されたn×n画素のRR´ランダム配列を取得し、ステップST702においてＢＢ´ランダム配列生成部２０２で生成されたn×n画素のBB´ランダム配列を取得する。
また、配列合成部２０４は、ステップST703においてＧＧ´規則的配列生成部２０３で生成されたn×2n画素のGG´規則的配列を取得する。
【００３８】
次に、配列合成部２０４は、ステップST704において処理を実行する画素位置を示す変数iを1に初期化し、ステップST705において処理を実行する画素位置を示す変数jを1に初期化する。
次に、配列合成部２０４は、ステップST706においてi+jを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST707に進み、剰余が0でなければステップST708に進む。
配列合成部２０４は、ステップST707ではjを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST709においてColComp(i,j)をColBB´(i/2,j/2)とし、ステップST713に進み、剰余が0でなければステップST710においてColComp(i,j)をColRR´((i+1)/2,(j+1)/2)とし、ステップST713に進む。
配列合成部２０４は、ステップST708ではjを2で除算した剰余が0であるかどうかを判定し、剰余が0であればステップST711においてColComp(i,j)をColGG´(i,j/2)とし、ステップST713に進み、剰余が0でなければステップST712においてColComp(i,j)をColGG´(i,(j+1)/2)とし、ステップST713に進む。
【００３９】
次に、配列合成部２０４は、ステップST713においてj=2nであるかどうかを判定し、
j=2nでなければステップST716においてjをj+1に更新し、ステップST706の処理に戻り、j=2nであればステップST714に進む。
次に、配列合成部２０４は、ステップST714においてi=2nであるかどうかを判定し、i=2nでなければステップST717においてiをi+1に更新し、ステップST705の処理に戻り、i=2nであればステップST715に進み、2n×2n画素の一部ランダム配列の色フィルタパターンＳ１０を出力して処理を終了する。
【００４０】
以上説明したように、画像処理装置１によれば、一部の色がランダムに配列された単板カラー撮像素子に使用される色フィルタ配列を持つ色フィルタパターンＳ１０を生成できる。
色フィルタパターンＳ１０を撮像素子の配列として用いた撮像装置では、配列の一部の色がランダムに配置されているので、偽色が低減され、配列の一部の色が規則的に配置されているので、解像度の再現性を上げることができる。さらに、画像処理装置１では、ランダムに配置されていると同時に、任意の注目画素位置について、注目画素位置を含む規定された大きさの領域内における色の存在頻度が所望の誤差範囲に収まるような配列が決められるため、注目画素近傍に必ず全ての色が存在し、色分離処理を行うことで色フィルタパターンＳ１０を生成できる。
【００４１】
＜第２実施形態＞
本実施形態では、図１に示すＲＲ´ランダム配列生成部２０１およびＢＢ´ランダム配列生成部２０２において、ホワイトノイズ画像からランダム配列を生成する場合を説明するする。
この場合、ホワイトノイズ画像生成部によって生成されたホワイトノイズ画像に対し、ブルーノイズ画像生成部によってハイパスフィルタを適用し、ブルーノイズ画像を生成する。
ＲＲ´ランダム配列生成部２０１は、ブルーノイズ画像に誤差拡散法による2値化を行い、2つの値にRとR´を対応させて、ＲＲ´ランダム配列パターンＳ２１を生成する。
【００４２】
先ず、ホワイトノイズ画像生成部について説明する。
ホワイトノイズ画像生成部は、区間[0,1]の実数値を画素値として持つ、n×n画素のホワイトノイズ画像を生成する。
図１２は、本実施形態におけるホワイトノイズ画像生成方法を説明するための図である。
ホワイトノイズ画像生成部は、ステップST801において処理を実行する画素位置を示す変数iを1に初期化し、ステップST802において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ホワイトノイズ画像生成部は、ステップST803において画素位置(i,j)の画素値を区間[0,1]の実数値の乱数とする。
図１２中で用いられているPRR´(i,j)は、ホワイトノイズ画像の画素位置(i,j)での画素値を表す。
【００４３】
次に、ホワイトノイズ画像生成部は、ステップST804においてj=nであるかどうかを判定し、j=nでなければステップST806においてjをj+1に更新し、ステップST803の処理に戻り、j=nであればステップST805に進む。
次に、ホワイトノイズ画像生成部は、ステップST805においてi=nであるかどうかを判定し、i=nでなければステップST807においてiをi+1に更新し、ステップST802の処理に戻り、i=nであればステップST808に進み、n×n画素のホワイトノイズ画像を出力して処理を終了する。
【００４４】
次に、ブルーノイズ画像生成部について説明する。
ブルーノイズ画像生成部は、ホワイトノイズ画像に対してハイパスフィルタを適用し、
区間[0,1]の実数値を画素値として持つ、n×n画素のブルーノイズ画像を生成する手段である。
本実施例では2m+1×2m+1画素の大きさを持つコンボリューションフィルタを用いてハイパスフィルタを実現している。
【００４５】
図１３に、m=2の時のコンボリューションフィルタの係数の例を示す。
別の実施例として、フーリエ変換を用いて、周波数空間上でハイパスフィルタを適用する構成にしても構わない。
【００４６】
図１４は、ブルーノイズ画像生成部の処理を説明するためのフローチャートである。
ブルーノイズ画像生成部は、ステップST901においてホワイトノイズ画像生成部で生成されたn×n画素のホワイトノイズ画像を取得する。
次に、ブルーノイズ画像生成部は、ステップST902において処理を実行する画素位置を示す変数iを1に初期化し、ステップST903において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ブルーノイズ画像生成部は、ステップST904において画素位置(i,j)の画素値を0に初期化する。
【００４７】
図１４中で用いられているP´RR´(i,j)はブルーノイズ画像の画素位置(i,j)での画素値を表す。
次に、ブルーノイズ画像生成部は、ステップST905においてコンボリューションフィルタ内での画素位置を示す変数sを-mに初期化し、ステップST906においてコンボリューションフィルタ内での画素位置を示す変数tを-mに初期化する。
次に、ブルーノイズ画像生成部は、ステップST907においてPRR´(i+s,j+t)にコンボリューションフィルタの係数w(s+m,t+m)を乗算して、P´RR´(i,j)を加算したものを新たなP´RR´(i,j)とする。
次に、ブルーノイズ画像生成部は、ステップST908においてt=mであるかどうかを判定し、t=mでなければステップST913においてtをt+1に更新し、ステップST907の処理に戻り、t=mであればステップST909に進む。
【００４８】
次に、ブルーノイズ画像生成部は、ステップST909においてs=mであるかどうかを判定し、s=mでなければステップST914においてsをs+1に更新し、ステップST906の処理に戻り、s=mであればステップST910に進む。
次に、ブルーノイズ画像生成部は、ステップST910においてj=nであるかどうかを判定し、j=nでなければステップST915においてjをj+1に更新し、ステップST905の処理に戻り、j=nであればステップST911に進む。
次に、ブルーノイズ画像生成部は、ステップST911においてi=nであるかどうかを判定し、i=nでなければステップST916においてiをi+1に更新し、ステップST903の処理に戻り、i=nであればステップST912に進み、n×n画素のブルーノイズ画像を出力して処理を終了する。
【００４９】
以下、本実施形態におけるＲＲ´ランダム配列生成部２０１の処理を説明する。
ＲＲ´ランダム配列生成部２０１は、ブルーノイズ画像生成部が生成したブルーノイズ画像に対して誤差拡散法による2値化を適用し、2つの値にRとR´を対応させて、ＲＲ´ランダム配列パターンＳ２１を生成する。
本実施例ではFloyd-Steinberg型の誤差拡散法を用いているが、他の誤差拡散法を用いても良い。
また、本実施例で誤差拡散法を用いているのは、量子化を行う際に低域信号成分を良く保存するからであり、他の量子化方法で同様の効果が得られるなら、それを用いても良い。
【００５０】
図１５は、本実施形態のＲＲ´ランダム配列生成部２０１の動作例を説明するためのフローチャートである。
本実施形態におけるＲＲ´ランダム配列生成部２０１は、ステップST1001においてブルーノイズ画像生成部で生成されたn×n画素のブルーノイズ画像を取得する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1002において処理を実行する画素位置を示す変数iを1に初期化し、ステップST1003において処理を実行する画素位置を示す変数jを1に初期化する。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1004においてP´RR´(i,j)>0.5であるかどうかを判定し、P´RR´(i,j)>0.5であればステップST1005においてeを1-P´RR´(i,j)とし、ステップST1006においてColRR´(i,j)をRにして、ステップST1009に進む。
ＲＲ´ランダム配列生成部２０１は、P´RR´(i,j)>0.5でなければステップST1007においてeをP´RR´(i,j)とし、ステップST1008においてColRR´(i,j)をR´にして、ステップST1009に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1009においてP´RR´(i+1,j)をP´RR´(i+1,j)+e×7/16に更新し、ステップST1010においてP´RR´(i-1,j+1)をP´RR´(i-1,j+1)+e×3/16に更新し、ステップST1011においてP´RR´(i,j+1)をP´RR´(i,j+1)+e×5/16に更新し、ステップST1012においてP´RR´(i+1,j+1)をP´RR´(i+1,j+1)+e×1/16に更新し、ステップST1013に進む。
【００５１】
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1013においてj=nであるかどうかを判定し、j=nでなければステップST1016においてjをj+1に更新し、ステップST1004の処理に戻り、j=nであればステップST1014に進む。
次に、ＲＲ´ランダム配列生成部２０１は、ステップST1014においてi=nであるかどうかを判定し、i=nでなければステップST1017においてiをi+1に更新し、ステップST1003の処理に戻り、i=nであればステップST1015に進み、n×n画素のRR´ランダム配列を出力して処理を終了する。
【００５２】
＜第３実施形態＞
本実施形態では、図１６に示す色フィルタパターンＳ３１０を、図１７に示す画像処理装置３００を用いて生成する。
図１７に示すように、画像処理装置３００は、例えば、ランダム配列生成部３０１、規則的配列生成部３０３および配列合成部３０４を有する。
図１７に示す画像処理装置３００では、ランダム配列生成部３０１が、図１８に示すように配列内にR, B,が含まれるＲＢランダム配列パターンＳ３０１を生成する。
規則的配列生成部３０３は、図１９に示すように、配列内にGのみが含まれるＧ規則配列パターンＳ３０２を生成する。
【００５３】
配列合成部３０４は、ランダム配列生成部３０１が生成したＲＢランダム配列パターンＳ３０１を市松の配列に並べ替え、規則的配列生成部３０３が生成したＧ規則配列パターンＳ３０２を市松の配列に並べ替えて、両者を合成することで一部ランダム配列である図１６に示す色フィルタパターンＳ３１０を生成する。
本実施形態では、ランダム配列生成部３０１と規則的配列生成部３０３とを一つずつ用いる場合を例示したが、これらは複数でもよい。
【００５４】
本発明は上述した実施形態には限定されない。
すなわち、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、並びに代替を行っても本発明は適用される。
【符号の説明】
【００５５】
１…画像処理装置、２０１…ＲＲ´ランダム配列生成部、２０２…ＢＢ´ランダム配列生成部、２０３…ＧＧ´規則的配列生成部、２０４…配列合成部、３００…画像処理装置、３０１…ランダム配列生成部、３０３…規則的配列生成部、３０４…配列合成部
【図１】
2011142689.tif 000003
【図２】
2011142689.tif 000004
【図３】
2011142689.tif 000005
【図４】
2011142689.tif 000006
【図５】
2011142689.tif 000007
【図６】
2011142689.tif 000008
【図７】
2011142689.tif 000009
【図８】
2011142689.tif 000010
【図９】
2011142689.tif 000011
【図１０】
2011142689.tif 000012
【図１１】
2011142689.tif 000013
【図１２】
2011142689.tif 000014
【図１３】
2011142689.tif 000015
【図１４】
2011142689.tif 000016
【図１５】
2011142689.tif 000017
【図１６】
2011142689.tif 000018
【図１７】
2011142689.tif 000019
【図１８】
2011142689.tif 000020
【図１９】
2011142689.tif 000021