(57)【要約】【課題】少ない画素数の撮像素子を用いた３板式のカメラシステムにおいて高解像な映像を得る。【解決手段】３つのハニカム配列の撮像素子からなり、Ｇ信号受光用の撮像素子に対して、Ｒ信号受光用の撮像素子及びＢ信号受光用の撮像素子をそれぞれ水平垂直方向に１／４画素ピッチずつずらして配置し、アナログ信号を出力する画素ずらし受光部２０２と、Ａ／Ｄ変換部１３０が出力する映像信号列において、空間的に存在しないＧ画素を周囲のＧ画素を用いて補間するＧ画素補間部２０３と、Ｇ画素補間部２０３で補間された画素を含むハニカム画素配列において、隣接する画素を混合し、ハニカム配列の輝度信号を生成する輝度信号生成部２０４と、輝度信号生成部２０４により生成された輝度信号間を補間する輝度信号を生成する輝度補間部２０５と、を備える。【選択図】図２
2010283564.tif 000002
【特許請求の範囲】
【請求項１】
入射光をＲＧＢの３色の光に分解する分光部と、
３つのハニカム配列の撮像素子からなり、Ｇ信号受光用の撮像素子に対して、Ｒ信号受光用の撮像素子及びＢ信号受光用の撮像素子をそれぞれ水平垂直方向に１／４画素ピッチずつずらして配置し、アナログ信号を出力する画素ずらし受光部と、
前記アナログ信号をデジタル信号に変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部が出力する映像信号列において、空間的に存在しないＧ画素を周囲のＧ画素を用いて補間するＧ画素補間部と、
前記Ｇ画素補間部で補間された画素を含むハニカム画素配列において、隣接する画素を混合し、ハニカム配列の輝度信号を生成する輝度信号生成部と、
前記輝度信号生成部により生成された輝度信号間を補間する輝度信号を生成する輝度補間部と、
を備える撮像装置。
【請求項２】
前記画素ずらし受光部は、
前記Ｇ信号受光用の撮像素子に対して、前記Ｒ信号受光用の撮像素子及び前記Ｂ信号受光用の撮像素子をそれぞれ水平垂直逆方向に１／４画素ピッチずつずらして配置する
請求項１に記載の撮像装置。
【請求項３】
前記Ｇ画素補間部は、
空間的に存在しないＧ画素について、隣接する４画素のＧ信号を用いて補間する
請求項１又は２に記載の撮像装置。
【請求項４】
前記Ｇ画素補間部は、
空間的に存在しないＧ画素について、周囲の５画素以上のＧ信号を用いて補間する
請求項１又は２に記載の撮像装置。
【請求項５】
前記輝度信号生成部は、
隣接する４つの画素を混合し、ハニカム配列の輝度信号を生成する
請求項１から４の何れかに記載の撮像装置。
【請求項６】
前記輝度信号生成部は、
周囲の５画素以上の画素を混合し、ハニカム配列の輝度信号を生成する
請求項１から４の何れかに記載の撮像装置。
【請求項７】
前記輝度補間部は、
隣接する４つの輝度信号を混合し、補間する輝度信号を生成する
請求項１から６の何れかに記載の撮像装置。
【請求項８】
前記輝度補間部は、
周囲の５つ以上の輝度信号を混合し、補間する輝度Ｙ信号を生成する
請求項１から６の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ、及びデジタルスチルカメラなどの固体撮像素子が搭載された撮像装置に係り、特に少ない画素数で高解像な映像信号を得るための撮像装置に関するものである。
【背景技術】
【０００２】
一般にビデオカメラは、撮像素子の構成から大きく分けて単板式と３板式に分けられる。単板で一般的に用いられるベイヤー型配列（図１１）では、受光素子上に配置されたカラーフィルタによってＲＧＢそれぞれの色を分離する。ベイヤー配列の撮像素子は総画素数Ｎに対して、緑の画素数はＮ／２、赤および青の画素数はＮ／４になるため、画素毎に周辺の画素の出力を用いて補間演算を行うことによりＮ個のＲＧＢの組を作り出している。ここで、緑の画素を２倍設けているのは、人間の眼の分光感度が緑付近をピークとしており、緑の解像度が見かけ上の解像度を向上させるためである。
【０００３】
単板式カメラが撮像素子を１つだけ使用し、さらにカラーフィルタを用いて色信号を得るのに対し、３板式カメラは撮像素子を３個用いて、各撮像素子からそれぞれＲＧＢ信号が独立して得られるので、単板式カメラに比べ感度、解像度、色調にすぐれ、ダイナミックレンジが広いという特長がある。さらに、画素ずらしという、Ｇ用とＲ、Ｂ用の撮像素子との間で水平や垂直方向の空間的位置を図１２のように１／２画素ピッチずらす方法を用いれば、高解像度の画像を得ることができる。
【０００４】
特許文献１は３板式カメラに関する発明を開示している。（ｎＨ×ｎＶ）／４個の画素数を有する第１および第２の２つの正方配列の固体撮像素子を、互いに水平および垂直方向で空間サンプリング点がオフセットする位置関係で撮像して、（ｎＨ×ｎＶ）／２個の輝度情報に関する有効画素情報を含む輝度信号（Ｙ）を得る。また、（ｎＨ×ｎＶ）／４個の画素数を有する第３の固体撮像素子により、（ｎＨ×ｎＶ）／４個の色情報に関する有効画素情報を含む色信号（Ｃ）を得る。この撮像により、画素数が削減されて情報量の圧縮された上記輝度信号（Ｙ）と色信号（Ｃ）よりなる映像信号を、例えば、画素復元せずに情報量を圧縮したままで、適宜処理して記録（あるいは伝送）し、その再生に当たって、上記（ｎＨ×ｎＶ）個の空間サンプリング点の内、撮像されずに削減された部分を画素補間によって再生することにより、その全サンプリング点の画素情報が復元された高精細の画像を得る。以上述べたように、特許文献１によれば、固体撮像素子の画素数を増やさずに、比較的画素数の少ない固体撮像素子を用いて、４倍以上の画素数を有する高精細画像の撮像を比較的低コストで実現することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２３７４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように３板式により少ない画素数の撮像素子を使用し、４倍の画素数を得ることができるが、実際の解像度は画素数に比例して向上する訳ではない。正方ベイヤーの撮像素子を用いた場合、画素ずらしによって得られる解像度は個別のセンサーナイキスト周波数の１．５倍程度である。解像度をさらに向上させるためには、画素ずらしだけではなく、撮像素子そのものの画素数を上げる必要があるためコストやサイズが増大し装置の低価格化が困難であるという問題があった。
【０００７】
本発明の目的は、上記に鑑み、従来正方配列の撮像素子の代わりに、千鳥配列のハニカム撮像素子を用いて画素ずらしを行うことにより、従来以上の解像度を得ることができるものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の撮像装置は、入射光をＲＧＢの３色の光に分解する分光部と、３つのハニカム配列の撮像素子からなり、Ｇ信号受光用の撮像素子に対して、Ｒ信号受光用の撮像素子及びＢ信号受光用の撮像素子をそれぞれ水平垂直方向に１／４画素ピッチずつずらして配置し、アナログ信号を出力する画素ずらし受光部と、前記アナログ信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部が出力する映像信号列において、空間的に存在しないＧ画素を周囲のＧ画素を用いて補間するＧ画素補間部と、前記Ｇ画素補間部で補間された画素を含むハニカム画素配列において、隣接する画素を混合し、ハニカム配列の輝度信号を生成する輝度信号生成部と、前記輝度信号生成部により生成された輝度信号間を補間する輝度信号を生成する輝度補間部と、を備える。
【発明の効果】
【０００９】
上記の構成により、本発明の撮像装置は、少ない画素数でより解像度の高い映像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における撮像装置の構成を示すブロック図
【図２】実施の形態１における撮像装置の構成の詳細を示すブロック図
【図３】実施の形態１における３板システムでの色分離を行うプリズムを示す図
【図４】実施の形態１におけるハニカム配列の撮像素子を示す図
【図５】実施の形態１におけるハニカム３板画素ずらしの構成を示す図
【図６】実施の形態１における信号処理の流れを示す図
【図７】ＲＢ画素を同位置に配置したハニカム３板画素ずらしの構成を示す図
【図８】実施の形態１における空間的に欠落したＧ画素補間処理後の映像信号を示す図
【図９】実施の形態１における４画素混合により求めたハニカム配列のＹ信号を示す図
【図１０】実施の形態１におけるＹ補間処理により２倍の画素数となったＹ信号を示す図
【図１１】従来のベイヤー配列を示す図
【図１２】従来の正方撮像素子の３板画素ずらし構成を示す図
【発明を実施するための形態】
【００１１】
以下、実施の形態について、図面を用いて詳細に説明する。
【００１２】
（実施の形態１）
図１は、本実施の形態１にかかるビデオカメラ１０１の構成を示すブロック図である。ビデオカメラ１０１は、光学系１１０により形成された被写体像を撮像部１２０で撮像する。撮像部１２０で生成された画像データは、画像処理部１４０で各種画像処理が施される。マイクロホン１５０で集音された音声データは、音声処理部１６０で各種音声処理が施される。画像処理部１４０で処理された画像データ、及び音声処理部１６０で処理された音声データは、システムエンコーダ１７２でシステムエンコード処理が施され、メモリーカード１８０に格納される。また、メモリーカード１８０などに格納されたＡＶデータの内、映像データは液晶モニタ１８２で表示可能であり、音声データはスピーカ１８３で出力可能である。以下、ビデオカメラ１０１の構成を詳細に説明する。
【００１３】
光学系１１０は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズ等を含む。光学系１１０は、被写体からの光を集光し、被写体像を形成する。
【００１４】
撮像部１２０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。撮像部１２０は、３板の撮像素子で構成される。撮像素子は、ＣＭＯＳイメージセンサー、若しくはＣＣＤイメージセンサーである。撮像素子は、受光素子の配列位置が互いにずれた２次元のハニカム（千鳥格子）配置をとる。通常の正方配列の撮像素子は、図１１に示すように縦横に格子状に画素が配列されている。ハニカム配列の撮像素子は、図４に示すように１列目の画素と２列目の画素がちょうど半ピッチずれたような千鳥配列になっている。
【００１５】
Ａ／Ｄ変換部１３０は、撮像部１２０で生成された画像データをデジタル信号に変換する。
【００１６】
画像処理部１４０は、Ａ／Ｄ変換部１３０で変換された画像データに対して各種の処理を施す。画像処理部１４０は、システムエンコーダ１７２へ入力する画像データを生成したり、液晶モニタ１８２に表示するための画像データを生成する。また、画像処理部１４０は、システムデコーダ１７３が出力する画像データに対して画像処理を施し、液晶モニタ１８２に表示するための画像データを生成したり、システムエンコーダ１７２へ再入力するための画像データを生成したりする。画像処理部１４０は、ＤＳＰやマイコンなどで実現可能である。
【００１７】
画像前処理部１４１は、Ａ／Ｄ変換部１３０で変換された画像データに対して、後述する画素の補間処理を行う。さらに、画像前処理部１４１は、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。
【００１８】
画像圧縮部１４２は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などを行うことにより、画像データを圧縮する。画像圧縮部１４２は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。画像伸張部１４３は、システムデコーダ１７３から出力された圧縮済みの画像データを液晶モニタ１８２で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００１９】
システムエンコーダ１７２は、画像処理部１４０が出力する圧縮画像データ、及び音声処理部１６０が出力する圧縮音声データから、メモリカード１８０に記録するＡＶデータを生成する。システムデコーダ１７３は、メモリカード１８０に記録されたＡＶデータを復号化し、圧縮画像データ、及び圧縮音声データを生成する。システムデコーダ１７３は、生成した圧縮画像データを画像伸張部１４３へ、圧縮音声データを音声伸張部１６３へそれぞれ出力する。
【００２０】
コントローラ１７０は、ビデオカメラ１０１全体を制御する制御手段である。コントローラ１７０は、半導体素子などで実現可能である。コントローラ１７０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１７０は、マイクロコンピュータで実現できる。
【００２１】
カードスロット１８１は、メモリーカード１８０を着脱可能である。カードスロット１８１は、機械的及び電気的にメモリーカード１８０と接続可能である。メモリーカード１８０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００２２】
液晶モニタ１８２は、撮像部１２０で生成した画像データや、メモリーカード１８０などから読み出したＡＶデータ中の画像データを表示可能である。また、液晶モニタ１８２は、ビデオカメラ１０１の各種の設定情報や、撮影時間などを表示可能である。
【００２３】
操作部１８４は、各種操作手段を総称した構成要素である。操作部１８４は、使用者の指示を受け付け、その指示をコントローラ１７０に伝える。
【００２４】
ビデオカメラ１０１の構成の詳細について、図２、図３及び図５を用いて説明する。
【００２５】
図２において、撮像部１２０は、分光部２０１と画素ずらし受光部２０２とを含む。光学系１１０を通して入ってくる入射光が、分光部２０１でＲＧＢそれぞれの光へと分光される。各色への分離は図３に示すような分光プリズムを用いて行う。分光プリズムはＲＧＢそれぞれの光を波長によって透過、反射させる膜を利用することにより各色へと分離する。
【００２６】
次にＲＧＢそれぞれの入射光を画素ずらし受光部２０２で水平垂直に１／４画素ピッチずつずらして張り合わされたハニカム配列撮像素子で受光し、アナログ信号へと変換される。ハニカム配列の撮像素子を用いた３板システム画素ずらしの構成を図５に示す。図５にハニカム配列における１画素ピッチを示す。ＲＧＢの撮像素子を１／４画素ピッチずつずらした構成をとることにより、空間周波数が元の配列の４倍となるため、より解像の高い画像を得ることができる。画素ずらし受光部２０２でアナログ信号に変換された映像信号は、Ａ／Ｄ変換部１３０でデジタル信号へと変換される。
【００２７】
画像前処理部１４１は、Ｇ画素補間部２０３と、Ｙ信号生成部２０４と、Ｙ補間部２０５と、を含む。デジタル信号となった映像信号に対しＧ画素補間部２０３で空間的に欠落しているＧ画素位置の画素信号を周囲のＧ画素より補間フィルタを適用して求める。Ｇ画素が補間されたＲＧＢ信号配列は多重して考えると単板のハニカム配列とみなすことができる。単板ハニカム配列状態になった映像信号に対して、Ｙ信号生成部２０４では縦横４画素を混合し、Ｙ信号を生成する。Ｙ信号生成部２０４で生成されたＹ信号も同様にハニカム配列の信号列となって出力されるため、Ｙ補間部２０５で空間的に欠落している画素を周囲のＹ画素からの補間処理を行うことで、２倍の画素数のＹ信号を生成する。
【００２８】
以下、それぞれの処理部での処理の詳細を図６のフローチャートを用いて説明する。画素ずらし受光部２０２において、ＲＧＢそれぞれについて、全てオフセットを持たせて光を受光することにより、１個のハニカム配列撮像素子を用いる場合と比較して、サンプリングレートを水平及び垂直それぞれ２倍に増やすことができる。なお、Ｒ用とＢ用の撮像素子を図７のように同じ空間位置に配置しても同様にサンプリングレートを水平及び垂直それぞれで２倍に増やすことができる。しかし、この場合は空間的に欠落している画素が増えるため解像度が低下してしまう。図５に示すような配列となった映像信号は図１１に示す正方ベイヤー配列を斜め４５度回転させたハニカム配列とみなすことができる。しかしながら、本来のハニカム配列と比較して、Ｇ画素が空間的に欠落している部分が存在する。そこで、Ｇ画素補間部２０３では欠落しているＧ画素を周囲のＧ画素から補間処理によって補間する（Ｓ０１）。具体的には、図５において、ｉ行ｊ列のＧ画素をＧ（ｉ，ｊ）とすると、本来画素のないＧ（３，５）の補間画素を求めるためには周囲の４画素Ｇ（１，５）、Ｇ（３，３）、Ｇ（３，７）、Ｇ（５，５）を用いて数１で求める。
【００２９】
【数１】
2010283564.tif 000003
【００３０】
数１はＧ補間画素を求める一例であり、より周波数特性を向上させるために５画素以上のＧ画素からの補間処理によって求めても良い。また、Ｇ画素を補間するにあたって、補間画素は、加算平均により求めるだけでなく、周囲のＧ画素をそれぞれ重み付け加算して求めても良い。上記Ｇ補間処理により図８に示すハニカム配列のＲＧＢ画素を得ることができる。
【００３１】
Ｇ画素補間部２０３で生成された映像信号に対して、Ｙ信号生成部２０４は隣接するＲＧＢ４画素を混合してＹ信号を生成する（Ｓ０２）。図８においてｉ行ｊ列に生成されるＹ信号をＹ’（ｉ，ｊ）とすると、Ｙ’（２，３）の補間画素を求めるためには周囲の４画素Ｇ（１，３）、Ｂ（２，２）、Ｒ（２，４）、Ｇ（３，３）を用いて数２で求める。
【００３２】
【数２】
2010283564.tif 000004
【００３３】
数２はＹ’画素を求める一例であり、より周波数特性を向上させるために５画素以上のＲＧＢ画素からの補間処理によって求めても良い。また、Ｙ’画素を補間するにあたって、補間画素は、加算平均により求めるだけでなく、周囲のＲＧＢ画素をそれぞれ重み付け加算して求めても良い。上記Ｙ生成処理により図９に示すハニカム配列のＹ’画素を得ることができる。
【００３４】
Ｙ信号生成部２０４で生成されたＹ’映像信号に対して、Ｙ補間部２０５では、空間的に欠落しているＹ画素を周囲のＹ’画素からの補間処理を行うことで、２倍の画素数のＹ信号を生成する（Ｓ０３）。図９においてｉ行ｊ列に生成されるＹ信号をＹ（ｉ，ｊ）とすると、Ｙ（２，２）の補間画素を求めるためには周囲の４画素Ｙ’（１，２）、Ｙ’（２，１）、Ｙ’（２，３）、Ｙ’（３，２）を用いて数３で求める。
【００３５】
【数３】
2010283564.tif 000005
【００３６】
数３はＹ画素を求める一例であり、より周波数特性を向上させるために５画素以上のＹ’画素からの補間処理によって求めても良い。また、Ｙ画素を補間するにあたって、補間画素は、加算平均により求めるだけでなく、周囲のＹ’画素をそれぞれ重み付け加算して求めても良い。上記Ｙ補間処理により図１０に示すようにもとの撮像素子画素数の８倍の画素を持つ映像信号を生成することができる。
【００３７】
本実施の形態１の処理により、ハニカム配列構成でのひとつの撮像素子のサンプリング周波数以上に映像の帯域を延ばすことができ、少ない画素数で高解像な映像信号を得ることができる。
【００３８】
このように、本実施の形態１の撮像装置は、隣り合う画素の中間の画素も計算で求め、格子状の配列に変換して出力するので、出力画像の画素数は撮像素子の持っている画素数よりも多くなる。実際には斜め方向の解像度は同じ画素数の正方配列の撮像素子よりも落ちるが、水平・垂直の解像度は向上する。人間の眼の解像度も斜め方向よりも水平・垂直方向に敏感なので、人間の視感特性を考慮するとハニカム配列の方が正方配列よりも解像感を向上させることができる。
【００３９】
なお、本実施の形態１では、ビデオカメラ１０１について説明したが、静止画を撮像するデジタルスチルカメラについても、同様に適用することができる。
【産業上の利用可能性】
【００４０】
ハニカム配列の撮像素子をその画素ピッチの１／４ずつずらした画素ずらし配列構成とすることにより、少ない画素数でより解像度の高い映像を得ることができる。また、画素数が少なくてすむ分、コストやサイズ面でも有利となり、装置の低価格化に貢献でき、デジタルビデオカメラやデジタルスチルカメラに適用することができ、有用である。
【符号の説明】
【００４１】
１０１  ビデオカメラ
１３０  Ａ／Ｄ変換部
２０１  分光部
２０２  画素ずらし受光部
２０３  Ｇ画素補間部
２０４  Ｙ信号生成部
２０５  Ｙ補間部
３０１  Ｂ信号受光用撮像素子  
３０２  Ｒ信号受光用撮像素子
３０３  Ｇ信号受光用撮像素子
【図１】
2010283564.tif 000006
【図２】
2010283564.tif 000007
【図３】
2010283564.tif 000008
【図４】
2010283564.tif 000009
【図５】
2010283564.tif 000010
【図６】
2010283564.tif 000011
【図７】
2010283564.tif 000012
【図８】
2010283564.tif 000013
【図９】
2010283564.tif 000014
【図１０】
2010283564.tif 000015
【図１１】
2010283564.tif 000016
【図１２】
2010283564.tif 000017