(57)【要約】【課題】動画と静止画との両立を図るために撮像素子で異色画素混合を行う場合に問題となる色変調度の低下に起因する偽信号の発生を防止する。【解決手段】撮像素子１０２内には隣接画素を混合する画素混合手段７０１を、撮像素子駆動部１０３内には画素混合の組み合わせをフレーム毎に変更する混合組み合わせ変更手段７０２をそれぞれ設ける。撮像素子１０２から出力される信号は、斜め方向に隣接する信号の差分の正負が同一位置においてフレーム毎に反転する。この撮像素子１０２の信号を受け取るデジタル信号処理部１０６に輝度信号処理部７０３と色信号処理部７０４とを設け、色信号処理部７０４内に色信号演算手段７０５と色信号フレームメモリ７０６とフレーム間色信号減算手段７０７とその他の処理部７０８とを設ける。これにより、色信号を２倍に増幅して色変調度の低下を補うとともに、時間的に相関の高い被写体の明暗パタンの影響を排除する。【選択図】図７
2010226514.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有し、かつカラー画像を得るために特定の色を通過させるカラーフィルタが光電変換部毎に設けられた撮像素子と、
前記複数の画素の電荷を混合して出力するための画素混合手段と、
画素混合の組み合わせを変更する混合組み合わせ変更手段とを備え、
混合の組み合わせを変更することにより、混合後の信号において、水平及び垂直又は斜め方向に隣接する信号の差分値の正負が同一位置において反転することを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記混合組み合わせ変更手段は、フレーム毎に組み合わせを変更することを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
混合後の信号にて水平及び垂直又は斜め方向に隣接する信号の差分をとることで色信号を得るための色信号演算手段と、
前記色信号演算手段の出力を１フレーム分記憶する色信号フレームメモリと、
記憶された前フレームの色信号と、入力された現フレームの色信号との減算を実行するフレーム間色信号減算手段とを更に備えたことを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記混合される複数の画素の組み合わせには２種類以上のカラーフィルタを備えた画素を含むことを特徴とする撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記カラーフィルタは、ＲＧＢ原色フィルタであることを特徴とする撮像装置。
【請求項６】
請求項１記載の撮像装置において、
前記画素混合は水平及び垂直に隣接する４画素で行われることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ（ＤＳＣ）、ビデオムービー、携帯電話等で使用される撮像装置に関し、特に静止画と動画との両方を扱う機器にて、動画撮影のために撮像素子上で画素混合を行う撮像技術に関するものである。
【背景技術】
【０００２】
近年、ＤＳＣ、ビデオムービー、携帯電話等において、静止画と動画との両方を扱う撮像機器が増加してきている。静止画と動画では求められる画素数が異なるため、これらの撮像機器では動画時は撮像素子の画素を間引く、又は混合する等の処理により、画素数を減らし、同時に動画に求められる高いフレームレートを実現している。
【０００３】
特許文献１には、同色の画素を混合し、例えば１／９に画素数を減らす技術が開示されている。同色の画素を混合するために飛び越し画素混合となるが、ＣＣＤ型撮像素子の電極を工夫することで実現し、同時に水平及び垂直を奇数画素混合とすることにより、混合後の重心の均等性を確保している。
【０００４】
同色画素混合は、混合後も混合前と同じ色が得られる反面、同色のカラーフィルタの画素のみの混合となるため、カラーフィルタパタンの制約を受け、自由な混合が難しいという問題がある。
【０００５】
特許文献２には、異色画素混合技術が開示されている。これは、ＣＣＤ型撮像素子においてカラーフィルタを工夫することで異色画素混合でもカラー化を可能にしたものである。特に従来のＲＧＢベイヤー配列のカラーフィルタは２×２のパタンであるため、隣接４画素を混合すると１色しか得られないが、３×１又は３×２のパタンでカラー化する方法を開示している。
【特許文献１】特開２００４−３１２１４０号公報
【特許文献２】特開２００３−１１６０６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、異色画素混合は異なる色を混合することから色が薄くなる欠点、いわゆる色変調度が低下してしまうという欠点、具体的には混合後の信号から得られる各色信号が小さくなるという欠点が原理上存在する。そのため、画像処理で色信号を増幅する必要がある。増幅は、信号だけでなくノイズをも増幅し、色Ｓ／Ｎが悪化するという問題が発生する。色Ｓ／Ｎの向上のためにはノイズを抑圧するためのノイズ抑圧技術が従来から考案されており、ここでは色Ｓ／Ｎの問題は対象にしない。しかし、色変調度の低下はまた、偽色の増加という問題をもたらす。すなわち、単板カメラのカラー化においては空間的に異なる位置に配置された異なる色フィルタが設けられた画素の信号を使うため、被写体の明暗のパタンを色と誤判断をして、本来存在しない色を生成してしまうという問題を発生させてしまう。色信号の増幅はこの偽信号を更に増加させるという欠点も併せ持つ。
【０００７】
本発明の目的は、動画と静止画との両立を図るために撮像素子で異色画素混合を行う場合に重大な問題となる色変調度の低下に起因する偽信号の発生を防止することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る固体撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有し、かつカラー画像を得るために特定の色を通過させるカラーフィルタが光電変換部毎に設けられた撮像素子と、前記複数の画素の電荷を混合して出力するための画素混合手段と、画素混合の組み合わせを変更する混合組み合わせ変更手段とを備え、混合の組み合わせを変更することにより、混合後の信号において、水平及び垂直又は斜め方向に隣接する信号の差分値の正負が同一位置において反転することを特徴とする。
【０００９】
具体的には、前記混合組み合わせ変更手段はフレーム毎に組み合わせを変更させる。更に、混合後の信号にて水平及び垂直又は斜め方向に隣接する信号の差分をとることで色信号を得るための色信号演算手段と、当該色信号演算手段の出力を１フレーム分記憶する色信号フレームメモリと、記憶された前フレームの色信号と入力された現フレームの色信号との減算を実行するフレーム間色信号減算手段とを更に備える。
【発明の効果】
【００１０】
本発明に係る撮像装置は、画素混合の組み合わせをフレーム毎に変更することにより、混合後の信号において、水平及び垂直又は斜め方向に隣接する信号の差分値の正負が同一位置において反転し、その差分値を色信号として生成する色信号演算手段と、１フレーム分の色信号を記憶する色信号フレームメモリと、記憶された前フレームの色信号と入力された現フレームの色信号との減算を実行するフレーム間色信号減算手段とを備えることにより、同一位置において色信号が反転関係になるようにし、それらの色信号の減算により色信号が２倍に増幅されると同時に、時間的に相関の高い被写体の明暗パタンによる影響は打ち消されることにより、被写体の明暗パタンに起因する偽色の発生を効果的に抑圧することができる。特に、色変調度が低下する異色画素混合において有益性が極めて高い。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の実施形態に係る撮像装置であるデジタルスチルカメラ（ＤＳＣ）の全体構成を示している。このＤＳＣは、光学系のレンズ１０１と、ＣＣＤ等の撮像素子１０２と、撮像素子駆動部１０３と、アナログ信号処理部１０４と、アナログ・デジタル変換部１０５と、デジタル信号処理部１０６と、画像圧縮伸長部１０７と、画像記録部１０８と、画像表示部１０９とで構成される。
【００１２】
図１のＤＳＣによれば、レンズ１０１を通過した被写体の像は撮像素子１０２に結像される。撮像素子１０２は、撮像素子駆動部１０３により駆動されて光電変換を行い撮像信号を出力する。次に、アナログ信号処理部１０４はノイズ除去や増幅等の処理を行い、アナログ・デジタル変換部１０５が撮像信号をデジタル信号に変換する。デジタル信号処理部１０６はデジタル化された撮像信号を入力し、輝度信号（Ｙ）と色信号（Ｃ）とからなる画像信号を生成する。この画像信号を受け取った画像表示部１０９は画像を表示する。この画像表示と並行して、画像圧縮伸長部１０７はデジタル信号処理部１０６から受け取った画像信号を圧縮し、画像記録部１０８に圧縮された画像データが記録される。この画像記録部１０８に記録された画像データを画像圧縮伸長部１０７で伸長し、デジタル信号処理部１０６を介して画像表示部１０９に画像を再生することもできる。
【００１３】
以下、図１のＤＳＣにおける動画撮影モードの動作を説明する。本発明は画素混合に関する発明であるため、全画素を独立に読み出す静止画撮影モードの説明は割愛する。
【００１４】
本実施形態の動画撮影モードは、隣接の４画素を混合して読み出すモードである。撮像素子１０２及び撮像素子駆動部１０３において隣接４画素混合を行う具体的な方法は公知であり、特にＣＣＤ型撮像素子における詳細方法は特許文献２に記載されているので、説明を割愛する。
【００１５】
さて、隣接４画素混合は飛び越し混合が不要のため、撮像素子１０２の構造を簡素にできるという特徴を持つ。また、混合によるローパスフィルタ効果が弱いため、解像度劣化が少ないという特徴を持つ。ただし、カラーフィルタ配列が従来一般的に用いられているＲＧＢベイヤー配列の場合、２×２の繰り返しパタンであるため画素混合後は１種類の信号しか得られず、カラー画像を生成することができない。特許文献２では３×１や３×２の繰り返しパタンにすることで隣接４画素混合時のカラー化を実現する方法が開示されているが、本発明では、図２に示すカラーフィルタ配列を採用する。このパタンはＲＧＢベイヤー配列において透過率を所定のパタンで変調し、混合後のＲＧＢのバランスが変動するようにしている。これにより、全画素を独立に読む静止画モードの場合には、透過率の変動を打ち消すためのゲイン補正処理を追加するだけで、従来と同様のＲＧＢベイヤー配列に対応した画像処理を適用することができる。
【００１６】
図３に、本発明における隣接４画素混合時の色信号生成方法を、色フィルタ上でどのように色信号が生成されるかの観点で模式的に示している。隣接４画素混合におけるフィルタの組み合わせにはパタンＡからＤまでの４種類があり、４種類のＲＧＢバランスの異なる信号が得られる。図３に示すようにパタンＡ（３０１）、パタンＢ（３０２）で混合するラインと、１画素水平方向にずらしてパタンＣ（３０３）、パタンＤ（３０４）で混合するラインとがあり、それらが１行毎に切り替わるようにする。画素混合後の信号配置はいわゆるオフセットサンプリングのパタンとなり、水平解像度の向上も実現できる。
【００１７】
色信号生成は上下のラインで差分をとることにより行われ、Ｒ−Ｇ、Ｂ−Ｇ信号が得られる。これらは、いわゆる色差信号に相当する信号と言える。図３に示すように斜め方向に差分をとっていくと、
(1) パタンＡ−パタンＣ＝（2G+0.5R+0.5B）−（1.5G+0.5R+B）＝−0.5（B-G）
(2) パタンＢ−パタンＣ＝（G+R+B）−（1.5G+0.5R+B）＝0.5（R-G）
(3) パタンＢ−パタンＤ＝（G+R+B）−（1.5G+R+0.5B）＝0.5（B-G）
(4) パタンＡ−パタンＤ＝（2G+0.5R+0.5B）−（1.5G+R+0.5B）＝−0.5（R-G）
という具合に、４種類の色差信号が順番に得られる。ここに、１画素毎にＲ系とＢ系の色差信号が得られ、かつ２画素毎にそれらが反転する。これにより、隣接４画素混合を行う動画撮影時もカラー化が可能となる。
【００１８】
なお、図３においては矢印を使って、色差信号の発生を模式的に示している。混合後の画素間を矢印で結び、その画素間の演算により色差信号が生成される。また、矢印が示す側の４画素が得られる信号の正の要素となる。
【００１９】
次のフレームにおいては画素混合の組み合わせを、図４に示すように変化させる。つまり、パタンＡ、Ｂのラインは水平方向に１画素ずらしてパタンＣ、Ｄになるようにする。パタンＣ、Ｄのラインは同様に１画素ずらしてパタンＡ、Ｂになるようにする。これにより、パタンＡ、ＢのラインとパタンＣ、Ｄのラインとが上下で入れ替わったことになる。この状態で図３の場合と同様に上下ラインで差分をとって行くと、
(1)' パタンＣ−パタンＡ＝（1.5G+0.5R+B）−（2G+0.5R+0.5B）＝0.5（B-G）
(2)' パタンＣ−パタンＢ＝（1.5G+0.5R+B）−（G+R+B）＝−0.5（R-G）
(3)' パタンＤ−パタンＢ＝（1.5G+R+0.5B）−（G+R+B）＝−0.5（B-G）
(4)' パタンＤ−パタンＡ＝（1.5G+R+0.5B）−（2G+0.5R+0.5B）＝0.5（R-G）
という具合に、色差信号が順番に得られる。すなわち、前フレームに対し、同一位置における色信号の正負が反転していることが判る。
【００２０】
前フレームである図３の色信号から図４に示した色信号を減算すると、
(1) −(1)' ＝B-G
(2) −(2)' ＝−（R-G）
(3) −(3)' ＝−（B-G）
(4) −(4)' ＝R-G
という具合に、色信号が順番に得られる。すなわち、色信号が２倍に増幅される。また、垂直方向の被写体の明暗差の影響は打ち消される。この様子を具体例で示したのが図５及び図６である。
【００２１】
図５及び図６では、Ｒ信号のみが得られる赤色の被写体を想定し、垂直方向に明暗差がある場合を模式的に示している。すなわち、被写体パタンの上のラインをＲとし、下のラインを０．５Ｒとしている。この場合において、図３と同様の混合組み合わせを行った場合、図５に示すように、
(1) パタンＡ−パタンＣ＝0.25 （＝−0.5（B-G））
(2) パタンＢ−パタンＣ＝0.75 （＝0.5（R-G））
(3) パタンＢ−パタンＤ＝0.5 （＝0.5（B-G））
(4) パタンＡ−パタンＤ＝0  （＝−0.5（R-G））
という具合に、色差信号が順番に得られる。本来、Ｂ成分及びＧ成分は存在しないので、(1)と(3)は０になるはずだが、値が存在している。これが偽色である。
【００２２】
次に、図４と同様の混合組み合わせを行った場合は図６に示す結果となり、
(1)' パタンＣ−パタンＡ＝0.25 （＝0.5（B-G））
(2)' パタンＣ−パタンＢ＝0  （＝−0.5（R-G））
(3)' パタンＤ−パタンＢ＝0.5 （＝−0.5（B-G））
(4)' パタンＤ−パタンＡ＝0.75 （＝0.5（R-G））
という具合に、色差信号が順番に得られる。
【００２３】
図５と図６の結果の差分をとると、
(1) −(1)' ＝0  （＝B-G）
(2) −(2)' ＝−0.75 （＝−（R-G））
(3) −(3)' ＝0  （＝−（B-G））
(4) −(4)' ＝0.75 （＝R-G）
という結果となる。すなわち、偽色のＢ−Ｇ成分は０となり、正しいＲ−Ｇ成分のみ得られている。
【００２４】
なお、本実施形態では、色信号は垂直方向の差分によって得られるために混合の組み合わせを垂直方向で変更することによって色信号を反転させ、垂直方向の被写体の明暗差の影響は打ち消している。ただし、厳密には色信号は水平方向にも１画素ずれた斜め方向の差分によって得られているため水平方向１画素分の明暗差の影響も受ける。図３、図４の矢印の方向が示すように垂直方向には正負に働く画素成分が反転しているが、水平方向には反転していない。すなわち、水平１画素分の明暗差の影響を受けてしまう。
【００２５】
ただし、水平１画素分の明暗差は全画素を独立に読み出す静止画モードにおいても影響を与えるため、通常は光学ローパスフィルタによって抑圧している。言い換えると、画素混合時は混合後の画素間の距離が離れてしまうことが偽色発生の重要な原因となっている。ここで、垂直方向には演算対象が２画素離れており、光学ローパスフィルタの効果が小さくなって発生してしまう偽色を本実施形態で効果的に除去している。それに対し、水平方向は１画素しか離れておらず、元々偽色が小さいため水平方向の対策をとらない本実施形態でも大きな問題にはならない。
【００２６】
図７は、上記処理を実施する撮像装置の構成を示した図である。図１で示したＤＳＣの全体構成例と同じ部分は同じ番号を付与している。撮像素子１０２内には隣接する画素を混合する画素混合手段７０１が設けられている。撮像素子駆動部１０３内には画素混合の組み合わせを変更する混合組み合わせ変更手段７０２が設けられている。混合組み合わせ変更手段７０２によりフレーム毎に混合の組み合わせが図３、図４に示すように変更される。実際の画素混合は撮像素子１０２内の画素混合手段７０１で行われる。撮像素子１０２から出力される信号は、図３、図４に示すように斜め方向に隣接する信号の差分の正負が同一位置においてフレーム毎に反転する。撮像素子１０２の信号はアナログ信号処理部１０４、アナログ・デジタル変換部１０５を経てデジタル化され、デジタル信号処理部１０６に入力される。デジタル信号処理部１０６には輝度信号処理部７０３と色信号処理部７０４とが設けられ、色信号処理部７０４内には色信号演算手段７０５と色信号フレームメモリ７０６とフレーム間色信号減算手段７０７とその他の処理部７０８とが設けられている。
【００２７】
なお、色信号フレームメモリ７０６は他の処理部とともに１つの半導体チップで構成してもよいし、別の半導体チップとしてもよい。
【００２８】
デジタル信号処理部１０６に入力された撮像素子１０２の信号は輝度信号処理部７０３にて輝度信号（Ｙ信号）が生成され、色信号処理部７０４にて色信号が生成される。色信号としては通常、輝度信号との差に相当する色差信号が使われる。色差信号にはＲ−ＹとＢ−Ｙとの２種類がある。色信号処理部７０４においては、まず前述のとおり画素混合された信号の斜め方向の差分をとる。これは色信号演算手段７０５にて行われ、前述のとおりＲ−ＧとＢ−Ｇとが得られる。Ｇ信号は輝度信号に分光が近いのでこれらは色差信号に相当すると考えてもよい。生成された色差信号は色信号フレームメモリ７０６にて記憶される。次に、フレーム間色信号減算手段７０７において、現在の色差信号と前のフレームの色差信号との減算が実行され、前述のように被写体の明暗パタンの影響を排除した色差信号を得る。その後、色差信号はその他の処理部７０８にて従来と同様の処理が行われる。この中にはγ処理や、分光をＲ−Ｙ、Ｂ−Ｙにより近づけるためのマトリックス処理等が含まれる。生成された輝度信号と色差信号とは前述の全体構成の説明のとおり、画像圧縮伸張部１０７や画像表示部１０９に送られる。
【００２９】
なお、カラーフィルタパタンや混合の組み合わせは本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で様々な実施形態を取り得る。
【産業上の利用可能性】
【００３０】
以上のとおり、本発明に係る撮像装置は、動画と静止画との両立を図るために撮像素子で異色画素混合を行う場合に重大な問題となる色変調度の低下に起因する偽信号の発生を極めて効果的に防止することができる。本発明により異色画素混合での大きな問題が解消され、これまでにない自由な画素混合パタンを選択することができる。この結果、多様な静止画と動画との組み合わせを実現でき、有用性は極めて高い。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図２】図１中の撮像素子のカラーフィルタ配列図である。
【図３】図１の撮像装置における動画撮影時の色信号生成方法の説明図である。
【図４】図３とは画素混合の組み合わせを変更した図である。
【図５】被写体の明暗パタンがある場合の色信号例を示す図である。
【図６】図５とは画素混合の組み合わせを変更した図である。
【図７】図１中の主要部の詳細構成図である。
【符号の説明】
【００３２】
１０１  レンズ
１０２  撮像素子
１０３  撮像素子駆動部
１０４  アナログ信号処理部
１０５  アナログ・デジタル変換部
１０６  デジタル信号処理部
１０７  画像圧縮伸張部
１０８  画像記録部
１０９  画像表示部
３０１  画素混合組み合わせパタンＡ
３０２  画素混合組み合わせパタンＢ
３０３  画素混合組み合わせパタンＣ
３０４  画素混合組み合わせパタンＤ
７０１  画素混合手段
７０２  混合組み合わせ変更手段
７０３  輝度信号処理部
７０４  色信号処理部
７０５  色信号演算手段
７０６  色信号フレームメモリ
７０７  フレーム間色信号減算手段
７０８  （色信号処理部における）その他の処理部
【図１】
2010226514.tif 000003
【図２】
2010226514.tif 000004
【図３】
2010226514.tif 000005
【図４】
2010226514.tif 000006
【図５】
2010226514.tif 000007
【図６】
2010226514.tif 000008
【図７】
2010226514.tif 000009