(57)【要約】【課題】撮像素子の使い勝手を損なうことなく、撮像素子の分解能を生かした固体撮像装置を提供する。【解決手段】本発明の固体撮像装置は、ベイヤー配列のカラーフィルタを有し、撮像素子に対応するカラー情報を出力する固体撮像部と、前記固体撮像部が出力する2次元のカラー情報が入力され、前記固体撮像部から出力されない撮像素子位置のカラー情報を入力されたカラー情報から生成する超解像処理部とを備えるようにした。詳しくは、ベイヤー配列のGの位置のカラー情報を基に、RとBの位置のGカラー情報を生成するようにした。【選択図】図４
2009296083.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー配列のカラーフィルタを有し、撮像素子に対応するカラー情報を出力する固体撮像部と、
前記固体撮像部が出力する2次元のカラー情報が入力され、前記固体撮像部から出力されない撮像素子位置のカラー情報を入力されたカラー情報から生成する超解像処理部と
を備えることを特徴とする固体撮像装置。
【請求項２】
ベイヤー配列のカラーフィルタを有し、撮像素子に対応するRGBカラー情報を出力する固体撮像部と、
前記固体撮像部が出力する2次元のRGBカラー情報が入力され、前記固体撮像部から出力されたGカラー情報からRカラー情報とBカラー情報に対応する撮像素子位置のGカラー情報を生成する超解像処理部と
を備えることを特徴とする固体撮像装置。
【請求項３】
ベイヤー配列のカラーフィルタを有し、撮像素子に対応するRカラー情報とGカラー情報とBカラー情報を出力する固体撮像部と、
前記固体撮像部から千鳥格子に出力されたGカラー情報を１撮像素子分斜め方向にづれた関係にある第一のサブ画像と第二のサブ画像に分離する画像分離部と、
前記第一のサブ画像と第二のサブ画像と前記位置づれ量を入力して水平方向の解像度を増す水平解像度変換部と、
前記第一のサブ画像と第二のサブ画像と前記位置づれ量を入力して垂直方向の解像度を増す垂直解像度変換部と、
前記水平解像度変換部の出力画像と前記垂直解像度変換部の出力画像と前記固体撮像部から千鳥格子に出力されたGカラー情報とから前記撮像素子のすべての位置に対応するGカラー情報を生成する合成部と
を備えることを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置に係り、高解像度化に有効な画像処理技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラ等の固体撮像装置は多画素化が進んでいる一方で、装置の小型化のために、固体撮像装置の分解能の向上要求も高い。
【０００３】
固体撮像装置の分解能の向上について、種々の方式が考案されており、例えば、特許文献１には、カラーフィルタの配置について、Ｒ，Ｇを水平・垂直方向のサンプリングレートがＧに対して１／２のレートとなるように１列おきおよび１行おきに配置し、ＧでＲ，Ｇの各々の周囲を囲むようなカラー配列にすることで、Ｇが全行、全列に存在するようにして、人間の視感度特性上、感度が高いＧの空間周波数特性を上げる技術が開示されている。
【０００４】
一方、映像処理技術でも高解像度化の要求があり、例えば、特開2008-085411号公報には、２つの画像フレームから画像のもつ折返し成分の復元して画像フレームの高解像度化をおこなう技術が開示されている。
【０００５】
【特許文献１】特開2006-211631号公報
【特許文献２】特開2008-085411号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来から使用されているベイヤー配置のカラーフィルタの個体撮像器では、個体撮像器の分解能を生かし切れていない問題があった。具体的には、図２の(a)ベイヤー配列に示すように、４つの素子（G、G、R、B）をひとつの仮想ピクセルとして、撮像をおこなうが、カラー情報は、近傍の実画素のカラー情報を演算して求めている。例えば、Gは、近傍の２つのGの平均をとるようにしている。Gは輝度データの支配的なデータであり、人の目は輝度情報に敏感であるが平均処理をおこなうことで、素子の分解能を生かして切れていない問題がある。
【０００７】
前記特許文献１では、カラーフィルタ配置を前記ベイヤー配置と異なる配置として高解像化をおこなっているが、固体撮像器を回転させて使用するために、固体撮像装置としては、固体撮像器を使いづらい問題があった。
【０００８】
前記特許文献２では、異なる２つの画像フレームを基に超解像処理をおこなっており、特許文献２の超解像処理技術を単に固体撮像装置に適用すると、固体撮像装置から出力される画像フレーム情報を一時記憶して超解像処理をおこなう構成となる。このため、画像フレームメモリが別途必要となる。
【０００９】
本発明は、撮像素子の使い勝手を損なうことなく、撮像素子の分解能を生かした固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の請求項１に記載の固体撮像装置は、ベイヤー配列のカラーフィルタを有し、撮像素子に対応するカラー情報を出力する固体撮像部と、前記固体撮像部が出力する2次元のカラー情報が入力され、前記固体撮像部から出力されない撮像素子位置のカラー情報を入力されたカラー情報から生成する超解像処理部とを備えるようにした。
【００１１】
本発明の請求項２に記載の固体撮像装置は、ベイヤー配列のカラーフィルタを有し、撮像素子に対応するRGBカラー情報を出力する固体撮像部と、前記固体撮像部が出力する2次元のRGBカラー情報が入力され、前記固体撮像部から出力されたGカラー情報からRカラー情報とBカラー情報に対応する撮像素子位置のGカラー情報を生成する超解像処理部とを備えるようにした。
【発明の効果】
【００１２】
本発明によれば、現行の固体撮像器の使い勝手を損なうことなく、現行の固体撮像装置を高解像化することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面により本発明の実施例を説明する。
図１は、本実施例の固体撮像装置の構成をしめす図である。固体撮像部1は、図２に詳細を示すベイヤー配列のカラーフィルタをもつCCD等の固体撮像器である。固体撮像部1から、２次元の撮像素子に対応したカラー情報が出力される。このとき、従来固体撮像装置では、輝度情報をよく表すGの情報が、近傍の２つのGの平均をとるようにしている。
【００１４】
図２は、ベイヤー配列の詳細を説明する図である。撮像器には撮像素子が行列状に２次元配置され、撮像素子のひとつひとつにR、G、Bのカラーフィルタが対応している。これにより、色分解された情報が出力される。図２(a)は、このカラーフィルタの配置の一例を示すものであり、一般にベイヤー配列と呼ばれている。
【００１５】
従来のベイヤー配列の撮像器では、図２(a)ベイヤー配列に示すように、４つの撮像素子（G、G、R、B）をひとつの仮想ピクセルとして撮像をおこなうが、カラー情報は近傍の実撮像素子のカラー情報を演算して求めている。例えば、Gは、近傍の２つのGの平均をとるようにしている。
【００１６】
つまり、カラー情報の高周波成分をカットするフィルター操作をおこなわれている。本実施例は、詳細は後述するが、ベイヤー配列に特有の配置情報を基に、Gのカラー情報を高精細化するものである。
【００１７】
図１の説明にもどり、固体撮像部1から出力されたカラー情報は、A/D変換器2によりデジタル化され、画像メモリ5に記録される。このとき、カラー情報の補正が必要な場合には、デジタル信号処理部3により補正処理をおこなう。
【００１８】
ここで、画像メモリ5に記録されるカラー情報のデータ構成について、図２(b)により説明する。カラー情報のG（G1とG2）は、図２(b)に示すように、撮像素子に対応する行列構造のデータに千鳥配置される。カラー情報のG1とG2をそれぞれ別に見ると、G1とG2とも、１つおきの領域に格納され、G1とG2は、撮像素子分ずれた位置に記録されている。
【００１９】
図１の説明にもどり、超解像処理部4は、画像メモリ5に記録されるカラー情報を基に、図２(b)の空欄に相当する位置のカラー情報を生成する処理をおこなう。この結果、カラー情報Gについて、撮像素子に対応するカラー情報Gを取得することができる。
【００２０】
画像出力部6は、画像メモリ5に記録されるカラー情報を実施例の固体撮像装置から出力するモジュールである。
【００２１】
つぎに、超解像処理部4の構成について詳細に説明する。
まず、実施例で使用する超解像処理の概要について図３により説明する。この超解像処理は、特許文献2に記載されている技術であり説明は省略するが、例えば、テレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを水平・垂直方向を組み合わせた2次元の高解像度化するための解像度変換部(4)と、更にこの解像度変換部(4)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。この解像度変換部(4)では、水平方向および垂直方向のそれぞれに解像度変換処理を行い、それぞれの結果のうち解像度向上効果が大きい成分を選択的に、もしくは混合させて出力することにより、2次元の高解像度化を実現する。
【００２２】
図４は、本実施例の超解像処理部4の処理を説明する図である。接続線の吹き出しの表は、それぞれに処理によるカラー情報の状態をしめしている。分離部10は、画像メモリ5に記録された固体撮像部1の撮像素子に対応したカラー情報を分離する。図2により説明したようにカラー情報Gは千鳥配置された情報であり、分離部10には、図2(b)と同様のGのカラー情報(14)が入力される。分離部10は、カラー情報15とカラー情報16に分離される。ここで、カラー情報16は、千鳥配置されたカラー情報Gのうち、縦横（斜め）１画素分ずれた画素位置のカラー情報Gとなっている。
【００２３】
水平解像度変換部11には、分離部10により分離されたカラー情報15とカラー情報16と位置づれ量が入力され、特許文献2に開示されている超解像処理により、水平方向の高解像度化処理が行われ、カラー情報17を得る。詳しくは、カラー情報17の「H」が超解像処理により生成されたベイヤー配列にないGのカラー情報となっている。
【００２４】
同様に、垂直解像度変換部12にも、分離部10により分離されたカラー情報15とカラー情報16と位置づれ量が入力され、特許文献2に開示されている超解像処理により、垂直方向の高解像度化処理が行われ、カラー情報18を得る。詳しくは、カラー情報18の「V」が超解像処理により生成されたベイヤー配列にないGのカラー情報となっている。
【００２５】
そして、合成部13にカラー情報18とカラー情報19とカラー情報16とカラー情報16の位置づれ量が入力されて、カラー情報19が合成される。このようにして、カラー情報14のデータがなかった撮像素子の位置にカラー情報が補完することができる。
【００２６】
本実施例によれば、固体撮像部1の撮像素子に対応したカラー情報Gを生成することができるので、カラー情報Rとカラー情報Bと合わせて、輝度情報と色差情報が４：１のカラーフォーマットの画像情報を生成することができる。
【００２７】
上記の実施例では、カラー情報Gを超解像処理により補完したが、カラー情報Rとカラー情報Bを同様に水平方向か垂直方向に補完処理することもできる。この場合には、輝度情報と色差情報が４：２のカラーフォーマットの画像情報を生成することができる。
【００２８】
なお、上記の上記の実施例では、超解像処理部4の処理に特許文献２に開示されている処理を適用したが、２次元の超解像処理をおこなえるものであればよく、特許文献２に開示されている超解像技術に限定されるものではない。
【００２９】
また、上記の実施例では、RGBカラーフィルタについて説明したが、補色フィルターでも同様であることは言うまでもない。
【図面の簡単な説明】
【００３０】
【図１】固体撮像装置の構成をしめす図である。
【図２】ベイヤー配列を説明する図である。
【図３】特許文献２の超解像処理を概要を説明する図である。
【図４】実施例の固体撮像装置の超解像処理を説明する図である。
【符号の説明】
【００３１】
１…固体撮像部、２…Ａ／Ｄ変換器、３…デジタル信号処理部、４…超解像処理部、５…画像メモリ、６…画像出力部
【図１】
2009296083.tif 000003
【図２】
2009296083.tif 000004
【図３】
2009296083.tif 000005
【図４】
2009296083.tif 000006