(57)【要約】【課題】より質の高い輝度信号を得ると共に、色収差によるモアレの発生を抑制すること。【解決手段】信号処理装置は、入力した画像信号に基づいて、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式により輝度信号１を出力するＯｕｔ  ｏｆ  Ｇｒｅｅｎ輝度回路（５）と、前記入力した画像信号に基づいて、Ｓｗｉｔｃｈ  Ｙ方式により輝度信号２を出力するＳｗｉｔｃｈ  Ｙ輝度回路（６）と、前記輝度信号１、２を混合する割合を決定する混合比率偏向回路（７）と、前記混合比率変更回路により決定された割合に応じて、前記輝度信号１、２を混合する輝度混合回路（８）とを有する。【選択図】  図１
2004173207.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像信号に基づいて、第１の方式により第１の輝度信号を出力する第１の輝度信号生成手段と、
前記入力した画像信号に基づいて、第２の方式により第２の輝度信号を出力する第２の輝度信号生成手段と、
前記第１及び第２の輝度信号を混合する割合を決定する混合比率決定手段と、
前記混合比率決定手段により決定された割合に応じて、前記第１及び第２の輝度信号を混合する混合手段と
を有することを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号処理に関し、特に複数のカラーフィルタを有する撮像素子からの出力信号から輝度信号を作成する処理に関するものである。
【０００２】
【従来の技術】
従来、固体撮像素子からの出力色信号をもとに輝度信号を作成する方法として、ＳｗｉｔｃｈＹ方式やＯｕｔｏｆＧｒｅｅｎ方式が知られている。以下、固体撮像素子が図１０のような原色ベイヤー配列のカラーフィルタにより覆われている場合を例にして、これらの方式を説明する。
【０００３】
ＳｗｉｔｃｈＹ方式は、固体撮像素子からの出力信号をＡ／Ｄ変換した後、ホワイトバランス（以下、ＷＢ）処理した信号を、そのまま輝度信号Ｙとみなす方式である。図１１は、得られた輝度信号Ｙの概念を示す図で、Ｙの後の数字は画素の位置を示す。また、通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数で出力０となるローパスフィルタ（以下、ＬＰＦ）を水平方向、垂直方向それぞれに適用した結果をベース信号とする。例えば、上記ＬＰＦのフィルタ係数を水平方向、垂直方向ともに［１  ２  １］とすると、Ｙ２２の画素のＬＰＦからの出力Ｙ２２’は、
Ｙ２２’  ＝  （Ｙ１１  ＋  ２  ×  Ｙ１２  ＋  Ｙ１３  ＋  ２  ×  Ｙ２１  ＋  ４  ×  Ｙ２２  ＋  ２  ×  Ｙ２３＋  Ｙ３１  ＋  ２×Ｙ３２  ＋  Ｙ３３）  ／  １６      …（１）
【０００４】
のように求めることができる。
さらに、図１２に示すように、ベース信号補間回路１２０１から得たベース信号から、高位桔梗町回路１２０２により高域強調信号を作り、加算器１２０３で元のベース信号を足しこむことにより、高域が補償された信号を得ることが可能である。
【０００５】
ところが、実際の撮像系では、固体撮像素子の前にレンズ系が配置され、このレンズ系を通過した光が固体撮像素子でサンプリングされる。レンズ系を通過した光には色収差が発生するため、画像周辺になると、色によってサンプリングされる位置が異なってくる。
【０００６】
この現象を図１３を用いて説明する。同図において、１０１はレンズ系の射出瞳、１０２はＣＣＤ等の固体撮像素子である。図１３は射出瞳１０１からの結像面への光を表しているが、例えば、実線が青、破線が赤い光の結像を示している。画像中心では図１３（ａ）のようにたとえ色収差が発生してもサンプリングの重心は変化しないのに対し、画像周辺になると図１３（ｂ）のように色によってサンプリングの位置が異なってくる。
【０００７】
したがって、特に画像周辺においては、サンプリングする画像の位置が撮像素子の色毎に異なってくることになるため、サンプリング位置ずれによるモアレが発生してしまう。例えば、図１０のようなフィルタ配列の場合だと、Ｇ位置に対してＲ位置とＢ位置でのサンプリング位置が実質的にずれて画像に干渉パターンが発生してしまうことになる。
【０００８】
【発明が解決しようとする課題】
上記のように、レンズ系を通った光は色収差が存在するため、固体撮像素子の配列が等間隔であっても、実質的にはカラーフィルタの色に依存してサンプリングがずれてしまい、モアレが発生してしていた。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、より質の高い輝度信号を得ると共に、色収差によるモアレの発生を抑制することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の信号処理装置は、入力した画像信号に基づいて、第１の方式により第１の輝度信号を出力する第１の輝度信号生成手段と、前記入力した画像信号に基づいて、第２の方式により第２の輝度信号を出力する第２の輝度信号生成手段と、前記第１及び第２の輝度信号を混合する割合を決定する混合比率決定手段と、前記混合比率決定手段により決定された割合に応じて、前記第１及び第２の輝度信号を混合する混合手段とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１２】
＜第１の実施形態＞
本第１の実施形態では、図１０に示したＲ（赤）、Ｇ（緑）、Ｂ（青）の３色からなる原色ベイヤー配列のカラーフィルタにより覆われた単板撮像素子からの信号を用いて、輝度信号を得る場合について説明する。
【００１３】
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラを含むが、これに限るものではなく、入射する光学像をエリアセンサなどの２次元配列された固体撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【００１４】
図１において、１は、入射する光を光電変換して、電気信号を出力するＣＣＤなどの撮像素子（以下、ＣＣＤ）、２はＡ／Ｄ変換回路、３はホワイトバランス（ＷＢ）回路、４は信号処理装置である。上記構成において、ＣＣＤ１より出力される信号をＡ／Ｄ変換回路２によりデジタル信号に変換し、ＷＢ回路３により公知のホワイトバランス（ＷＢ）処理を施した信号を信号処理装置４に入力する。なお、図１では、図の簡略化の為に本発明に直接関わりの無いγ変換回路や、色作成回路などは省略している。
【００１５】
次に、本発明の第１の実施形態における信号処理装置４の構成及び動作について、図１乃至図６を参照して詳細に説明する。図２は、本第１の実施形態における輝度信号生成手順を示すフローチャートである。
【００１６】
信号処理装置４は、図１に示すように、ＯｕｔｏｆＧｒｅｅｎ輝度回路５、ＳｗｉｃｈＹ輝度回路６、混合比率変更回路７、輝度混合回路８を有する。信号処理装置４は、ＷＢ回路３によりＷＢ処理された信号を受け取とると（ステップＳ１１）、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ輝度回路５において、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式により輝度信号１を作成する（ステップＳ１２）。
【００１７】
図３は、本第１の実施形態におけるＯｕｔ  ｏｆ  Ｇｒｅｅｎ輝度回路５の構成例を示すブロック図である。ＣＣＤ１の各カラーフィルタ位置に対応して、Ｒ、Ｂ、Ｇの各信号を独立に処理するために、Ｒ補間回路９、Ｂ補間回路１０、Ｇ補間回路１１を備える。例えば、Ｒ信号を処理する場合には、Ｒ以外の画素に０挿入しておき、水平、垂直方向それぞれに［１  ２  １］の係数を持つＬＰＦを適用してＧ信号、Ｂ信号に関しても同様に処理し、乗算回路１３および加算回路１４により次式のように輝度信号Ｙを生成する。
Ｙ  ＝  ０．３Ｒ  ＋  ０．５９Ｇ  ＋  ０．１１Ｂ      …（２）
【００１８】
さらに、輪郭補正回路１２により、Ｇ信号から高域強調信号を作成し、Ｙに足しこむ。このように、高域強調信号をＧ信号のみから作成するため、輝度信号Ｙにおいて、Ｇ信号が支配的になる。
【００１９】
一方、ＳｗｉｃｈＹ輝度回路６により、例えば、従来技術で述べたＳｗｉｃｈＹ方式により輝度信号２を作成する（ステップＳ１３）。なお、このＳｗｉｃｈＹ方式は、レッド（Ｒ）信号、グリーン（Ｇ）信号、ブルー（Ｂ）信号をそのまま輝度信号とみなす方式であり、本第１の実施形態で採用している原色ベイヤー配列の撮像素子の場合、輝度の色構成比は、Ｒ：Ｇ：Ｂ＝１：２：１である。
【００２０】
Ｓｗｉｔｃｈ  Ｙ方式により得られる輝度信号２は、従来例で述べたように、画像の周辺においてモアレが顕著に発生してしまう。一方、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式による輝度信号１は、後述するようにＧ信号を中心に輝度信号を構成するため、色収差によりＧ信号に対してＲ信号およびＢ信号のサンプリングの位置がずれたとしても、その影響を受けにくい。しかし、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式はＳｗｉｔｃｈ  Ｙ方式に比べＣＣＤの画素を約半分しか利用していないことになるため、画像の中心ではＳｗｉｔｃｈ  Ｙ方式を利用した方が有利である。
【００２１】
従って、本第１の実施形態においては、画像の中心ではＳｗｉｔｃｈ  Ｙ方式を採用し、画像の周辺ではＯｕｔ  ｏｆ  Ｇｒｅｅｎ方式を採用し、中間ではＳｗｉｔｃｈ  Ｙ方式とＯｕｔ  ｏｆ  Ｇｒｅｅｎ方式の両方を採用する。
【００２２】
混合比率変更回路７では、画素位置に応じて（ステップＳ１４）輝度信号１と輝度信号２との混合比率を変更する（ステップＳ１５）。より具体的には、画面の中心（または光軸）から各画素までの距離ｄに応じて、混合比率ｒを決める。この混合比率の決め方については、詳細に後述する。
【００２３】
次に、輝度混合回路８において、混合比率変更回路７により変更された混合比率ｒを用いて、輝度信号１と輝度信号２とを混合する（ステップＳ１６）。この混合の仕方についても、詳細に後述する。
【００２４】
図４は、本第１の実施形態における混合比率変更回路７の構成例を示すブロック図である。まず、画素位置検出回路１５により処理している画素位置（ｘ，ｙ）を検出する。次に、距離演算回路１６により画像中心（ｘｃ，ｙｃ）からの距離を演算する。例えば、距離ｄを
【００２５】
2004173207.tif 000003
【００２６】
のように演算する。次に、混合比率演算回路１７において、距離ｄにより混合比率ｒを演算する。例えば、画像中心から最も距離の離れた画素位置までの距離をＤｍａｘとすると、
ｒ  ＝  ｄ／Ｄｍａｘ      …（４）
のように演算する。このようにすると、中心付近では混合比率ｒが０となり、周辺で１となる。
また、距離ｄと混合比率ｒの関係を図５のように作成しておき、テーブル変換によって距離ｄから混合比率ｒを求めるように構成してもよい。
【００２７】
輝度混合回路８では、上記混合比率ｒを用いて、輝度信号１と輝度信号２を次式（５）のように混合して混合輝度信号Ｙｍｉｘを得る。なお、式（５）において、輝度信号１はＹ１、輝度信号２はＹ２、比率ｒは輝度信号１の混合比率を示すものとする。従って、輝度信号２の混合比率は（１−ｒ）により表される。
Ｙｍｉｘ  ＝  ｒＹ１  ＋  （１−ｒ）Ｙ２      …（５）
【００２８】
図６は、図５に示す比率を用いて、輝度混合回路８により輝度信号１及び輝度信号２を混合した結果を図示したものである。中央部ではＳｗｉｔｃｈ  Ｙ方式の輝度が採用され、周辺ではＯｕｔ  Ｏｆ  Ｇｒｅｅｎ方式の輝度、中間部では両方式の輝度を混合した輝度が採用されている。
【００２９】
以上のように構成することで、画像の中心部分と周辺部分で異なる方式の輝度信号を採用することが可能となり、レンズ系の色収差の影響を受けにくい輝度信号を作成することが可能となる。
【００３０】
即ち、本第１の実施形態によれば、入力した画像信号に基づいて、第１の方式により第１の輝度信号を生成し、同じ画像信号に基づいて、第２の方式により第２の輝度信号を生成し、第１及び第２の輝度信号を混合する割合を決定し、決定した割合に応じて、第１及び第２の輝度信号を混合する。
【００３１】
より具体的には、混合する割合を決定する時には、画像信号の画像における位置を検出し、検出した位置に基づいて、混合する割合を決定する。
【００３２】
更に具体的には、前記第１の方式は、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式であって、前記第２の方式は、Ｓｗｉｔｃｈ  Ｙ方式である。
【００３３】
＜第２の実施形態＞
本第２の実施形態では、第１の実施形態に加え、さらに、画像の特定個所のみ複数の輝度信号を混合することが可能な実施形態について説明する。
【００３４】
第１の実施形態では、輝度信号１と輝度信号２を被写体によらず、画像の中心からの距離に応じて混合していたが、色の濃い被写体の場合、輝度信号の色構成比の違いにより輝度レベルが異なってくる。例えば、（Ｒ，Ｇ，Ｂ）＝（２００，０，０）という色の場合、色の構成比がＲ：Ｇ：Ｂ＝３：６：１の場合、Ｙ＝６０くらいになるが、色の構成比がＲ：Ｇ：Ｂ＝１：２：１の場合、Ｙ＝５０くらいになる。そのため、色の濃い被写体を撮影した場合、輝度信号１と輝度信号２の輝度レベルの差が激しくなり、切り替えポイントでの輝度段差が気になる場合がある。
【００３５】
これを避けるためには、色の濃い部分については、輝度信号を混合せずに、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式で得られた輝度信号１をそのまま用いる。
【００３６】
図７は、本第２の実施形態における撮像装置の構成を示すブロック図である。図７では、図１の構成に信号処理装置４’内に混合位置検出回路１８が加わったもので、その他の構成は図１と同じであるため、同じ構成については詳細説明を省略する。以下、本第２の実施形態における動作を、図８のフローチャートを参照しながら説明するが、第１の実施形態で説明した図２のフローチャートの処理と同様の処理には同じ参照番号を付し、一部説明を省略する。
【００３７】
信号処理装置４は、ＷＢ回路３によりＷＢ処理された信号を受け取とると（ステップＳ１１）、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ輝度回路５において、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式により輝度信号１を作成し（ステップＳ１２）、ＳｗｉｃｈＹ輝度回路６により、ＳｗｉｃｈＹ方式により輝度信号２を作成する（ステップＳ１３）。その後、入力した信号の彩度から、輝度信号混合を行うか否かを判断するが（ステップＳ２１）、この判断は混合位置検出回路１８で行われる。
【００３８】
図９は、本第２の実施形態における混合位置検出回路１８の構成例を示すブロック図である。まず、彩度演算回路１９において、例えば、次式（６）に従って彩度を演算する。なお、式（６）のＣｈｍは、彩度である。
【００３９】
2004173207.tif 000004
【００４０】
次に、混合度合い決定回路２０において、ある閾値より彩度が小さい場合にのみ輝度を混合するように決定する。例えば、閾値ＴＨとＣｈｍを比較し、Ｃｈｍの方が小さい場合には輝度を混合すると判定し、１の信号を発生する。逆の場合にはしないと判定し、０の信号を発生する。
【００４１】
輝度混合回路８’において、この信号を受け取り、１が与えられた場合のみ、輝度の混合を実施するよう構成する（ステップＳ１４〜Ｓ１６）。なお、輝度の混合は、上記第１の実施形態で説明したようにして行われる。０の場合には、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式で得られた輝度信号１を出力する。
【００４２】
上記の通り第２の実施形態によれば、彩度が小さい部分のみ輝度の混合が実施されるため、上記問題を回避することが可能となる。
【００４３】
なお、上記第２の実施形態では、混合するかしないかを彩度と閾値とを比較して０、１で判定したが、彩度に応じて０〜１の連続的な数値で混合度合いを決定するように構成してもよい。
【００４４】
即ち、本第２の実施形態によれば、上記第１の実施形態の構成に加えて、画像信号の彩度に応じて、第１及び第２の輝度信号を混合するか否かを判断し、混合すると判断した場合に、第１及び第２の輝度信号を混合する。
【００４５】
より具体的には、上記判断を行う時に、画像信号の彩度を検出し、検出した彩度を予め決められた閾値と比較し、閾値よりも小さい場合に第１及び第２の輝度信号を混合し、大きい場合に前記第１及び第２の輝度信号を混合しないと決定する。
【００４６】
また、別の構成では、上記第１の実施形態の構成に加えて、前記画像信号の彩度に応じて、第１及び第２の輝度信号を混合する割合を判断し、上記決定された２種類の割合に応じて、第１及び第２の輝度信号を混合する。
【００４７】
より具体的には、前記第１の方式は、Ｏｕｔ  ｏｆ  Ｇｒｅｅｎ方式であって、彩度に基づく判断で混合しないと判断した場合に、第１の輝度信号をそのまま出力する。
【００４８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラ、複写機、ファクシミリ装置など）に適用してもよい。
【００４９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００５０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２または図８に示すフローチャートに対応するプログラムコードが格納されることになる。
【００５２】
【発明の効果】
上記の通り本発明によれば、より質の高い輝度信号を得ると共に、色収差によるモアレの発生を抑制することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における輝度信号生成手順を示すフローチャートである。
【図３】本発明の第１の実施形態におけるＯｕｔ  ｏｆ  Ｇｒｅｅｎ輝度回路の構成例を示すブロック図である。
【図４】本発明の第１の実施形態における混合比率変更回路の構成例を示すブロック図である。
【図５】本発明の第１の実施形態における中心から各画素までの距離に対する、混合比率の例を示す図である。
【図６】本発明の第１の実施形態における輝度信号１及び輝度信号２を混合した結果を示す図である。
【図７】本発明の第２の実施形態における撮像装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態における輝度信号生成手順を示すフローチャートである。
【図９】本発明の第２の実施形態における混合位置検出回路の構成例を示すブロック図である。
【図１０】原色ベイヤー配列を示す図である。
【図１１】Ｓｗｉｔｃｈ  Ｙ方式の説明図である。
【図１２】Ｓｗｉｔｃｈ  Ｙ方式で輝度信号生成を行う回路の構成例を示すブロック図である。
【図１３】色収差を説明するための図である。
【符号の説明】
１  撮像素子
２  Ａ／Ｄ変換回路
３  ホワイトバランス回路
４、４’  信号処理装置
５  ＯｕｔｏｆＧｒｅｅｎ輝度回路
６  ＳｗｉｃｈＹ輝度回路
７  混合比率変更回路
８、８’  輝度混合回路
９  Ｒ補間回路
１０  Ｂ補間回路
１１  Ｇ補間回路
１２  輪郭補正回路
１３  乗算回路
１４  加算回路
１５  画素位置検出回路
１６  距離演算回路
１７  混合比率演算回路
１８  混合位置検出回路
１９  彩度演算回路
２０  混合度合い決定回路
１０１  射出瞳
１０２  固体撮像素子
１２０１  ベース信号補間回路
１２０２  高域強調回路
１２０３  加算器
【図１】
2004173207.tif 000005
【図２】
2004173207.tif 000006
【図３】
2004173207.tif 000007
【図４】
2004173207.tif 000008
【図５】
2004173207.tif 000009
【図６】
2004173207.tif 000010
【図７】
2004173207.tif 000011
【図８】
2004173207.tif 000012
【図９】
2004173207.tif 000013
【図１０】
2004173207.tif 000014
【図１１】
2004173207.tif 000015
【図１２】
2004173207.tif 000016
【図１３】
2004173207.tif 000017