(57)【要約】  ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる撮像装置及び撮像プログラムを提供する。  撮像装置（１０）は、６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタ（３０）と、垂直方向における予め定めた位置のライン上の画素の画素データのみを間引いて読み出すように撮像素子（１４）を駆動する駆動部（２２）と、撮像素子（１４）から間引いて読み出された各ラインの画素データを、ベイヤー配列パターンのベイヤー配列画素データに変換する画素変換部（１８）を備える。
2012124181.tif 000002
【特許請求の範囲】
【請求項１】
水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
前記垂直方向における予め定めた位置のライン上の画素の画素データのみを読み出すように前記撮像素子を駆動する駆動手段と、
前記撮像素子から間引いて読み出された各ラインの画素データを、２×２画素の正方配列の一方の対角線上の２つの画素が前記第１の色の画素、他方の対角線上の２つの画素が前記第２の色の画素及び前記第３の色の画素で配置されたベイヤー配列パターンであるベイヤー配列画素データに変換する画素変換手段と、
前記ベイヤー配列画素データに基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間することにより、各画素の各色の画素データを生成する生成手段と、
を備えた撮像装置。
【請求項２】
前記画素変換手段は、前記撮像素子から間引いて読み出された各ラインの画素データを、前記水平方向に隣接する同色の画素の画素データを画素混合することにより、前記撮像素子から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する
請求項１記載の撮像装置。
【請求項３】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン及び前記第３のライン上の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン上の前記第３の色の画素データを前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめ、前記第３のライン上の前記第２の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項２記載の撮像装置。
【請求項４】
前記駆動手段は、前記垂直方向における（６ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（６ｎ＋５）番目（ｎ＝０、１、２、・・・）の第５のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン及び第５のライン上の前記第１の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記第２のライン上の隣接する前記第２の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記第５のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項２記載の撮像装置。
【請求項５】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン及び前記第４のライン上の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記第４のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項２記載の撮像装置。
【請求項６】
前記駆動手段は、前記垂直方向における（１２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（１２ｎ＋７）番目（ｎ＝０、１、２、・・・）の第７のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン及び前記第７のライン上の隣接する前記第１の色の画素データを各々画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記垂直方向における前記第１のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記垂直方向における前記第７のライン上の前記第３の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項２記載の撮像装置。
【請求項７】
前記駆動手段は、前記垂直方向における（１２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（１２ｎ＋８）番目（ｎ＝０、１、２、・・・）の第８のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン及び前記第８のライン上の前記第１の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記垂直方向における前記第２のライン上の隣接する前記第２の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記垂直方向における前記第８のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項２記載の撮像装置。
【請求項８】
前記駆動手段は、前記垂直方向における（１８ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（１８ｎ＋１１）番目（ｎ＝０、１、２、・・・）の第１１のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン及び第１１のライン上の前記第１の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記垂直方向における前記第２のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめ、前記垂直方向における前記第１１のライン上の前記第２の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項２記載の撮像装置。
【請求項９】
前記画素変換手段は、前記撮像素子から間引いて読み出された各ラインの画素データについて、前記水平方向に隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項１記載の撮像装置。
【請求項１０】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン及び前記第３のライン上の隣接する同色の画素の画素データを画素位置に応じて各々重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項９記載の撮像装置。
【請求項１１】
前記駆動手段は、前記垂直方向における（６ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（６ｎ＋５）番目（ｎ＝０、１、２、・・・）の第５のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン及び前記第５のライン上の隣接する同色の画素の画素データを画素位置に応じて各々重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項９記載の撮像装置。
【請求項１２】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン及び前記第４のライン上の隣接する同色の画素の画素データを画素位置に応じて各々重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項９記載の撮像装置。
【請求項１３】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン上の隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項９記載の撮像装置。
【請求項１４】
前記駆動手段は、前記垂直方向における（６ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン上の隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項９記載の撮像装置。
【請求項１５】
前記駆動手段は、前記垂直方向における（９ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン上の隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成する
請求項９記載の撮像装置。
【請求項１６】
前記画素変換手段は、前記撮像素子から間引いて読み出された各ラインの画素データから、前記ベイヤー配列パターンに対応した２ライン分の画素データを各々生成し、当該生成した２ラインの画素データを前記ベイヤー配列画素データに変換する
請求項１記載の撮像装置。
【請求項１７】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン上の２組の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のベイヤー配列ライン及び（２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第３のライン上の２組の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のベイヤー配列ライン及び（２ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン及び前記第３のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの前記第１のベイヤー配列ライン及び前記第３のベイヤー配列ラインの対応する位置の前記第２の色の画素に各々当てはめ、前記第１のライン及び前記第３のライン上の前記第３の色の画素データを、前記ベイヤー配列パターンの前記第２のベイヤー配列ライン及び前記第４のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項１６記載の撮像装置。
【請求項１８】
前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第１のライン上の２組の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のベイヤー配列ライン及び（２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの前記第１のベイヤー配列ラインの対応する位置の前記第２の色の画素に当てはめ、前記第１のライン上の前記第３の色の画素データを、前記ベイヤー配列パターンの前記第２のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項１６記載の撮像装置。
【請求項１９】
前記駆動手段は、前記垂直方向における（１２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（１２ｎ＋８）番目（ｎ＝０、１、２、・・・）の第８のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、
前記画素変換手段は、前記第２のライン上の２組の前記第１の色の画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のベイヤー配列ライン及び（２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第８のライン上の２組の前記第１の色の画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のベイヤー配列ライン及び（２ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第２のライン上の隣接する前記第２の色の画素データを画素混合した画素データを前記ベイヤー配列パターンの前記第１のベイヤー配列ラインの対応する位置の前記第２の色の画素に当てはめ、前記第８のライン上の隣接する前記第２の色の画素データを画素混合した画素データを前記ベイヤー配列パターンの前記第４のベイヤー配列ラインの対応する位置の前記第２の色の画素に当てはめ、前記第２のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記第２のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめ、前記第８のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記第３のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換する
請求項１６記載の撮像装置。
【請求項２０】
前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である
請求項１〜１９の何れか１項に記載の撮像装置。
【請求項２１】
コンピュータを、請求項１〜請求項２０の何れか１項に記載の撮像装置を構成する画素変換手段として機能させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像プログラムに係り、特に、単板式のカラー撮像素子を用いた撮像装置及び撮像プログラムに関する。
【背景技術】
【０００２】
単板カラー撮像素子の出力画像は、ＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合、高周波の画像信号の再現特性が問題となる場合がある。カラー撮像素子は、白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、モアレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化することが重要となる。【０００３】
特許文献１には、モアレなどの発生の少ない間引き出力を行なわせる撮像装置が開示されている。【０００４】
また、特許文献２には、画素混合によって増感したときでも、モアレの発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図る撮像装置が開示されている。【０００５】
ところで、単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列（例えば特許文献３〜５参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。【０００６】
そこで、このような問題が発生しないように各色のフィルタを配列したベイヤー配列以外の配列のカラーフィルタを用いることが考えられる（例えば特許文献６参照）。
【特許文献１】特開２００８−７８７９４号公報
【特許文献２】特開２００９−２４６４６５号公報
【特許文献３】特開２００２−１３５７９３号公報
【特許文献４】特許第３９６０９６５号公報
【特許文献５】特開２００４−２６６３６９号公報
【特許文献６】特開平１１−２８５０１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この場合、例えば同時化処理等の画像処理は、新たなカラーフィルタの配列に応じた画像処理を行う必要があるが、新たなカラーフィルタの配列に応じて画像処理を変更するのは非常に煩雑であり、設計工数が膨大になる、という問題があった。【０００８】
本発明は上記問題点を解決するためになされたものであり、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる撮像装置及び撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１記載の発明の撮像装置は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第１の色と異なる第２の色に対応する第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第１の色及び前記第２の色と異なる第３の色に対応する第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記垂直方向における予め定めた位置のライン上の画素の画素データのみを読み出すように前記撮像素子を駆動する駆動手段と、前記撮像素子から間引いて読み出された各ラインの画素データを、２×２画素の正方配列の一方の対角線上の２つの画素が前記第１の色の画素、他方の対角線上の２つの画素が前記第２の色の画素及び前記第３の色の画素で配置されたベイヤー配列パターンであるベイヤー配列画素データに変換する画素変換手段と、前記ベイヤー配列画素データに基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間することにより、各画素の各色の画素データを生成する生成手段と、を備えたことを特徴とする。【００１０】
この発明によれば、６×６画素の基本配列パターンが繰り返し配置されたベイヤー配列パターンではないカラーフィルタを備え、撮像素子から間引いて読み出された各ラインの画素データを、ベイヤー配列パターンのベイヤー配列画素データに変換する画素変換手段を備えた構成としたため、ベイヤー配列対応の画像処理部を変更することなく用いることができる。【００１１】
なお、請求項２に記載したように、前記画素変換手段は、前記撮像素子から間引いて読み出された各ラインの画素データを、前記水平方向に隣接する同色の画素の画素データを画素混合することにより、前記撮像素子から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換するようにしてもよい。【００１２】
また、請求項３に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン及び前記第３のライン上の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン上の前記第３の色の画素データを前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめ、前記第３のライン上の前記第２の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００１３】
また、請求項４に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（６ｎ＋５）番目（ｎ＝０、１、２、・・・）の第５のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン及び第５のライン上の前記第１の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記第２のライン上の隣接する前記第２の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記第５のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００１４】
また、請求項５に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン及び前記第４のライン上の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記第４のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００１５】
また、請求項６に記載したように、前記駆動手段は、前記垂直方向における（１２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（１２ｎ＋７）番目（ｎ＝０、１、２、・・・）の第７のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン及び前記第７のライン上の隣接する前記第１の色の画素データを各々画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記垂直方向における前記第１のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記垂直方向における前記第７のライン上の前記第３の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００１６】
また、請求項７に記載したように、前記駆動手段は、前記垂直方向における（１２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（１２ｎ＋８）番目（ｎ＝０、１、２、・・・）の第８のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン及び前記第８のライン上の前記第１の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記垂直方向における前記第２のライン上の隣接する前記第２の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめ、前記垂直方向における前記第８のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００１７】
また、請求項８に記載したように、前記駆動手段は、前記垂直方向における（１８ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（１８ｎ＋１１）番目（ｎ＝０、１、２、・・・）の第１１のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン及び第１１のライン上の前記第１の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第１の色の画素に当てはめ、前記垂直方向における前記第２のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの対応する位置の前記第３の色の画素に当てはめ、前記垂直方向における前記第１１のライン上の前記第２の色の画素データを、前記ベイヤー配列パターンの対応する位置の前記第２の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００１８】
また、請求項９に記載したように、前記画素変換手段は、前記撮像素子から間引いて読み出された各ラインの画素データについて、前記水平方向に隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００１９】
また、請求項１０に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン及び前記第３のライン上の隣接する同色の画素の画素データを画素位置に応じて各々重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００２０】
また、請求項１１に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（６ｎ＋５）番目（ｎ＝０、１、２、・・・）の第５のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン及び前記第５のライン上の隣接する同色の画素の画素データを画素位置に応じて各々重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００２１】
また、請求項１２に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン及び前記第４のライン上の隣接する同色の画素の画素データを画素位置に応じて各々重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００２２】
また、請求項１３に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン上の隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００２３】
また、請求項１４に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン上の隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００２４】
また、請求項１５に記載したように、前記駆動手段は、前記垂直方向における（９ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン上の隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置の前記第１の色、前記第２の色、及び前記第３の色の画素データを生成し、当該生成した各色の画素データに基づいて、前記ベイヤー配列画素データを生成するようにしてもよい。【００２５】
また、請求項１６に記載したように、前記画素変換手段は、前記撮像素子から間引いて読み出された各ラインの画素データから、前記ベイヤー配列パターンに対応した２ライン分の画素データを各々生成し、当該生成した２ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００２６】
また、請求項１７に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン上の２組の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のベイヤー配列ライン及び（２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第３のライン上の２組の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のベイヤー配列ライン及び（２ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン及び前記第３のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの前記第１のベイヤー配列ライン及び前記第３のベイヤー配列ラインの対応する位置の前記第２の色の画素に各々当てはめ、前記第１のライン及び前記第３のライン上の前記第３の色の画素データを、前記ベイヤー配列パターンの前記第２のベイヤー配列ライン及び前記第４のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００２７】
また、請求項１８に記載したように、前記駆動手段は、前記垂直方向における（６ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第１のライン上の２組の隣接する前記第１の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のベイヤー配列ライン及び（２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第１のライン上の前記第２の色の画素データを前記ベイヤー配列パターンの前記第１のベイヤー配列ラインの対応する位置の前記第２の色の画素に当てはめ、前記第１のライン上の前記第３の色の画素データを、前記ベイヤー配列パターンの前記第２のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００２８】
また、請求項１９に記載したように、前記駆動手段は、前記垂直方向における（１２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のライン及び（１２ｎ＋８）番目（ｎ＝０、１、２、・・・）の第８のライン上の画素の画素データのみを間引いて読み出すように前記撮像素子を駆動し、前記画素変換手段は、前記第２のライン上の２組の前記第１の色の画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋１）番目（ｎ＝０、１、２、・・・）の第１のベイヤー配列ライン及び（２ｎ＋２）番目（ｎ＝０、１、２、・・・）の第２のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第８のライン上の２組の前記第１の色の画素データを、前記ベイヤー配列パターンの前記垂直方向における（２ｎ＋３）番目（ｎ＝０、１、２、・・・）の第３のベイヤー配列ライン及び（２ｎ＋４）番目（ｎ＝０、１、２、・・・）の第４のベイヤー配列ラインの対応する位置の前記第１の色の画素に各々当てはめ、前記第２のライン上の隣接する前記第２の色の画素データを画素混合した画素データを前記ベイヤー配列パターンの前記第１のベイヤー配列ラインの対応する位置の前記第２の色の画素に当てはめ、前記第８のライン上の隣接する前記第２の色の画素データを画素混合した画素データを前記ベイヤー配列パターンの前記第４のベイヤー配列ラインの対応する位置の前記第２の色の画素に当てはめ、前記第２のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記第２のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめ、前記第８のライン上の隣接する前記第３の色の画素データを画素混合した画素データを、前記ベイヤー配列パターンの前記第３のベイヤー配列ラインの対応する位置の前記第３の色の画素に当てはめることにより、前記撮像素子から間引いて読み出された各ラインの画素データを前記ベイヤー配列画素データに変換するようにしてもよい。【００２９】
また、請求項２０に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。【００３０】
請求項２１記載の発明の撮像プログラムは、コンピュータを、請求項１〜請求項２０の何れか１項に記載の撮像装置を構成する画素変換手段として機能させるための撮像プログラムである。
【発明の効果】
【００３１】
本発明によれば、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる、という効果を有する。
【図面の簡単な説明】
【００３２】
【図１】撮像装置の概略ブロック図である。
【図２】本発明に係るカラーフィルタの構成図である。
【図３】ベイヤー配列パターンのカラーフィルタの構成図である。
【図４】ベイヤー配列パターンのカラーフィルタを用いた場合の処理の流れを説明するための図である。
【図５】ベイヤー配列パターンのカラーフィルタを用いた場合の処理の流れを説明するための図である。
【図６】画素変換処理部で実行される処理のフローチャートである。
【図７】第１実施形態に係る画素変換処理の流れについて説明するための図である。
【図８】第２実施形態に係る画素変換処理の流れについて説明するための図である。
【図９】第３実施形態に係る画素変換処理の流れについて説明するための図である。
【図１０】第４実施形態に係る画素変換処理の流れについて説明するための図である。
【図１１】第５実施形態に係る画素変換処理の流れについて説明するための図である。
【図１２】第６実施形態に係る画素変換処理の流れについて説明するための図である。
【図１３】第７実施形態に係る画素変換処理の流れについて説明するための図である。
【図１４】第８実施形態に係る画素変換処理の流れについて説明するための図である。
【図１５】第９実施形態に係る画素変換処理の流れについて説明するための図である。
【図１６】第１０実施形態に係る画素変換処理の流れについて説明するための図である。
【図１７】第１１実施形態に係る画素変換処理の流れについて説明するための図である。
【図１８】第１２実施形態に係る画素変換処理の流れについて説明するための図である。
【図１９】第１３実施形態に係る画素変換処理の流れについて説明するための図である。
【図２０】第１４実施形態に係る画素変換処理の流れについて説明するための図である。
【図２１】第１５実施形態に係る画素変換処理の流れについて説明するための図である。
【図２２】カラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するための図である。
【図２３】カラーフィルタに含まれる基本配列パターンの概念を説明するための図である。
【図２４】カラーフィルタの変形例を示す図である。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して本発明の実施形態について説明する。【００３４】
（第１実施形態）【００３５】
図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画素変換処理部１８、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。【００３６】
光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。【００３７】
撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。【００３８】
図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＲ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の基本配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。【００３９】
すなわち、カラーフィルタ３０は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。【００４０】
〔特徴(1)〕【００４１】
図２に示すカラーフィルタ３０は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。【００４２】
このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。【００４３】
また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。【００４４】
〔特徴(2)〕【００４５】
図２に示すカラーフィルタ３０は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。【００４６】
輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。【００４７】
〔特徴(3)〕【００４８】
図２に示すカラーフィルタ３０は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。【００４９】
Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。【００５０】
図２に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。【００５１】
第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。【００５２】
また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、図２２に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。【００５３】
〔特徴(4)〕【００５４】
図２に示すカラーフィルタ３０は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。【００５５】
図２２に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。【００５６】
即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。【００５７】
〔特徴(5)〕【００５８】
図２に示すカラーフィルタ３０の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称になっている。【００５９】
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。【００６０】
図２３に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲであり、第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢとなっている。【００６１】
いま、図２３において、基本配列パターンＣを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＣ’、それぞれ２画素ずつシフトした基本配列パターンをＣ”とすると、これらの基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。【００６２】
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図２３に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。【００６３】
図２４は本実施形態に係るカラーフィルタの変形例を示す図である。同図に示すカラーフィルタ３０Ａは、４×４画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。【００６４】
このカラーフィルタ３０Ａは、図２に示したカラーフィルタ３０と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。【００６５】
また、基本配列パターンＣは、その基本配列パターンＣの中心に対して点対称になっている。【００６６】
一方、このカラーフィルタ３０Ａは、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいないが、水平方向に隣接するＧフィルタを有し、また、斜め方向（右上斜め、左上斜め）に隣接するＧフィルタを有する。【００６７】
垂直方向には、Ｒフィルタ又はＢフィルタを挟んでＧフィルタが存在するため、これらのＧフィルタに対応するＧ画素の画素値を垂直方向の相関を判断する場合に使用することができる。【００６８】
上記のようにカラーフィルタ３０Ａは、図２に示すカラーフィルタ３０の特徴(1)、(2)、(3)、及び(5)と同じ特徴を有している。【００６９】
これに対し、図３には、ベイヤー配列のカラーフィルタ４０の一部を示した。なお、同図に示したカラーフィルタも画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２である。同図に示すように、ベイヤー配列のカラーフィルタ４０は、２×２画素の正方配列の一方の対角線上の２つの画素上にＧフィルタが配置され、他方の対角線上の２つの画素上にＲフィルタ及びＢフィルタが配置された構成である。【００７０】
撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画素データとして画素変換処理部１８に出力する。この画素データは、図２に示すカラーフィルタ３０の配列に対応した画素データである。【００７１】
画素変換処理部１８は、詳細は後述するが、撮像処理部１６から出力された図２に示すカラーフィルタ３０の配列に対応した画素データを、図３に示すベイヤー配列に対応した画素データに変換する。【００７２】
画像処理部２０は、画素変換処理部１８から出力されたベイヤー配列に対応した画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。そして、生成したＲ，Ｇ，Ｂの画素データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。【００７３】
駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。【００７４】
制御部２４は、撮影モード等に応じて駆動部２２、画素変換処理部１８、及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画素変換処理部１８に対して、撮影モードに応じた画素変換処理を行うよう指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。【００７５】
撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。【００７６】
本実施形態では、撮影モードの一例として、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モードが設定された場合の処理を例に説明する。【００７７】
まず、ベイヤー配列のカラーフィルタを用いた従来構成の撮像素子１４を用いた場合に、ＨＤ動画モード及びスルー動画モードで撮影した場合の処理について説明する。【００７８】
図４には、ベイヤー配列のカラーフィルタ４０を用いた従来構成の撮像素子１４を用いた場合に、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。【００７９】
この場合、図４左上に示すように、垂直方向に３ライン毎に画素データを間引いて読み出す。すなわち、垂直方向に（３ｎ＋１）番目（ｎ＝０，１，２，・・・）のライン（図中矢印で指し示したライン、以下同様に間引いて読み出すラインを矢印で指し示す）の画素データを読み出す。そして、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右上に示すように、水平方向及び垂直方向ともに撮像素子１４の画素数の１／３の画素数（１６３２×１０８８）の画素データを生成する。【００８０】
具体的には、Ｒ画素については、図４左上に示す１ライン目の枠Ｒａ（５画素含んでいる）内の３個のＲ画素を画素混合（例えば３個のＲ画素の画素値の平均値をとる。以下同様）して同図右上に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｇ画素については、図４左上に示す１ライン目の枠Ｇａ（５画素含んでいる）内の３個のＧ画素を画素混合して、同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、図４左上に示す２ライン目の枠Ｇｂ（５画素含んでいる）内の３個のＧ画素を画素混合して、同図右上に示す縮小画像の１ライン目のＧ画素Ｇ２とする。Ｂ画素については、図４左上に示す２ライン目の枠Ｂａ（５画素含んでいる）内の３個のＢ画素を画素混合して同図右上に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。【００８１】
そして、同図右上の画素データに対して前述した同時化処理及びＹＣ変換処理（ベイヤー処理）を施して、同図左下に示すように、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、同図右下に示すように、輝度データＹ、色差データＣｒ、Ｃｂを撮影モードに応じたサイズにリサイズするリサイズ処理を行う。同図右下では、一例として画素数が（１９２０×１０８０）、アスペクト比１６：９にリサイズしている。【００８２】
図５には、ベイヤー配列のカラーフィルタ４０を用いた従来構成の撮像素子１４を用いた場合に、スルー動画モード（ライブビューモード）で撮影した場合の処理の流れを概略的に示した。【００８３】
この場合、ＨＤ動画モードよりも解像度は低くてよいので、図５左上に示すように、垂直方向に５ライン毎に画素データを間引いて読み出す。すなわち、垂直方向に（５ｎ＋１）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出す。後は画像サイズが異なるだけで図４の場合と同様である。【００８４】
ここで、図４左下、図５左下に示すベイヤー処理は、ベイヤー配列に対応した同時化処理及びＹＣ変換処理であるため、図２に示すベイヤー配列と異なる配列のカラーフィルタ３０を用いた場合、ベイヤー処理を変更する必要がある。【００８５】
しかしながら、本実施形態では画素変換処理部１８を設け、この画素変換処理部１８において、撮像処理部１６から出力されたカラーフィルタ３０の配列に対応した画素データを、ベイヤー配列に対応した画素データに変換して画像処理部２０に出力するので、画像処理部２０を変更する必要がない。【００８６】
次に、本実施形態の作用として、画素変換処理部１８で実行される処理について、図６に示すフローチャートを参照して説明する。【００８７】
なお、図６に示す処理は、制御部２４から撮影モードに応じた画素変換処理を実行するように指示された場合に実行される。【００８８】
制御部２４は、指定された撮影モードでの撮影の実行が指示されると、駆動部２２に対して撮影モードに対応した間引き方法で間引いて撮像信号を読み出すように指示する。また、制御部２４は、撮影モードに対応した画素変換処理を実行するように画素変換処理部１８に指示すると共に、撮影モードに対応したベイヤー処理（同時化処理及びＹＣ変換処理）及びリサイズ処理を実行するように画像処理部２０に指示する。【００８９】
まずステップ１００では、撮像処理部１６から画素データを入力する。ステップ１０２では、入力された画素データをベイヤー配列に対応した画素データに変換する画素変換処理を実行する。ステップ１０４では、変換した画素データを画像処理部２０へ出力する。【００９０】
なお、画素変換処理部１８は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。【００９１】
以下、画素変換処理の具体例について説明する。本実施形態では、ＨＤ動画モードにおいて、撮像素子１４から間引いて読み出された各ラインの画素データを、水平方向に隣接する同色の画素の画素データを画素混合することにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列の画素データに変換する場合について説明する。【００９２】
図７には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図７左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目及び（６ｎ＋３）番目のラインの画素データのみが出力される。すなわち、基本配列パターンＣの垂直方向の６ラインのうち、２、４〜６ライン目を間引き、１ライン目及び３ライン目の２ライン分の画素データを読み出すことを基本配列パターン毎に繰り返す。【００９３】
画素変換処理部１８では、間引いた読み出された画素データに対して、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右上に示すように、水平方向及び垂直方向ともに撮像素子１４の画素数の１／３の画素数（１６３２×１０８８）の画素データを生成する。【００９４】
具体的には、Ｇ画素については、図７左上に示す１ライン目の枠Ｇａ内の２個のＧ画素を画素混合（例えば２個のＧ画素の画素値の平均値をとる。以下同様）して、同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、３ライン目の枠Ｇｂ内の２個のＧ画素を画素混合して、同図右上に示す縮小画像の１ライン目のＧ画素Ｇ２とする。Ｂ画素については、図７左上に示す１ライン目の枠Ｂａ内の１個のＢ画素を同図右上に示す縮小画像の１ライン目のＢ画素Ｂ１とし、Ｒ画素については、図７左上に示す３ライン目の枠Ｒａ内の１個のＲ画素を同図右上に示す２ライン目のＲ画素Ｒ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（６ｎ＋１）番目のライン及び（６ｎ＋３）番目のライン上の隣接するＧ画素の画素データを各々画素混合した画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目のライン上のＢ画素の画素データをベイヤー配列パターンの対応する位置のＢ画素に当てはめ、垂直方向に（６ｎ＋３）番目のライン上のＲ画素の画素データを、ベイヤー配列パターンの対応する位置のＲ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【００９５】
この間引き方の場合、図７左上に示すように、間引いて読み出された画素データに人間の目に敏感なＧ画素を多く含むため、感度が良好な画像が得られる。【００９６】
画素変換処理後は、図４と同様に、画像処理部２０においてベイヤー処理（同時化処理及びＹＣ変換処理）及びリサイズ処理が実行され、リサイズされた画像が出力される。【００９７】
（第２実施形態）【００９８】
次に、本発明の第２実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【００９９】
本実施形態が第１実施形態と異なるのは撮像信号の間引き方であり、その他は第１実施形態と同様である。【０１００】
図８には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図８左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋２）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋５）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋２）番目及び（６ｎ＋５）番目のラインの画素データのみが出力される。すなわち、基本配列パターンＣの垂直方向の６ラインのうち、１、３〜４、６ライン目を間引き、２ライン目及び５ライン目の２ライン分の画素データを読み出すことを基本配列パターン毎に繰り返す。【０１０１】
画素変換処理部１８では、間引いた読み出された画素データに対して、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右上に示すように、水平方向及び垂直方向ともに撮像素子１４の画素数の１／３の画素数（１６３２×１０８８）の画素データを生成する。【０１０２】
具体的には、Ｇ画素については、図８左上に示す２ライン目の枠Ｇａ内の１個の画素を同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、５ライン目の枠Ｇｂ内の１個の画素を同図右上に示す縮小画像の１ライン目のＧ画素Ｇ２とする。Ｒ画素については、図８左上に示す５ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右上に示す縮小画像の１ライン目のＲ画素とし、Ｂ画素については、図８左上に示す５ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右上に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（６ｎ＋２）番目のライン及び（６ｎ＋５）番目上のＧ画素の画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、（６ｎ＋２）番目のライン上の隣接するＲ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの対応する位置のＲ画素に当てはめ、（６ｎ＋５）番目のライン上の隣接するＢ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１０３】
この間引き方の場合、図８左上に示すように、間引いて読み出された画素データにＲ画素及びＢ画素を多く含むため、偽色が出にくい画像が得られる。なお、画素変換処理後の処理は上記実施形態と同一であるので、説明は省略する。【０１０４】
（第３実施形態）【０１０５】
次に、本発明の第３実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１０６】
本実施形態が第１実施形態と異なるのは撮像信号の間引き方であり、その他は第１実施形態と同様である。【０１０７】
図９には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図９左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋４）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目及び（６ｎ＋４）番目のラインの画素データのみが出力される。すなわち、基本配列パターンＣの垂直方向の６ラインのうち、２、３、５、６ライン目を間引き、１ライン目及び４ライン目の２ライン分の画素データを読み出すことを基本配列パターン毎に繰り返す。【０１０８】
画素変換処理部１８では、間引いた読み出された画素データに対して、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右上に示すように、水平方向及び垂直方向ともに撮像素子１４の画素数の１／３の画素数（１６３２×１０８８）の画素データを生成する。【０１０９】
具体的には、Ｇ画素については、図９左上に示す１ライン目の枠Ｇａ内の２個の画素を画素混合した画素データを同図右上に示す縮小画像の１ライン目のＧ画素１とすると共に、４ライン目の枠Ｇｂ内の２個の画素を画素混合した画素データを同図右上に示す縮小画像の２ライン目のＧ画素２とする。Ｒ画素については、図９左上に示す１ライン目の枠Ｒａ内の１個のＲ画素を同図右上に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図９左上に示す４ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右上に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（６ｎ＋１）番目のライン及び（６ｎ＋４）番目のライン上の隣接するＧ画素の画素データを各々画素混合した画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目のライン上のＲ画素の画素データをベイヤー配列パターンの対応する位置のＲ画素に当てはめ、（６ｎ＋４）番目のライン上の隣接するＢ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１１０】
この間引き方の場合、図９左上に示すように、間引いて読み出された画素データにＧ画素を多く含むと共に、Ｒ画素及びＢ画素が市松模様となるため、感度がある程度良好でかつ偽色がある程度出にくい画像が得られる。【０１１１】
（第４実施形態）【０１１２】
次に、本発明の第４実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１１３】
本実施形態が第１実施形態と異なるのは撮影モードがスルー動画モード（ライブビューモード）で、撮像信号の間引き方が異なる点であり、その他は第１実施形態と同様である。【０１１４】
図１０には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。なお、図１０では、ベイヤー処理及びリサイズ処理については図示を省略している（以下の実施形態も同様）。【０１１５】
本実施形態では、図１０左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋１）番目（ｎ＝０，１，２，・・・）のライン及び（１２ｎ＋７）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（１２ｎ＋１）番目及び（１２ｎ＋７）番目のラインの画素データのみが出力される。すなわち、垂直方向の１２ラインのうち、２〜６、８〜１１ライン目を間引き、１ライン目及び７ライン目の画素データを読み出すことを繰り返す。【０１１６】
画素変換処理部１８では、間引いた読み出された画素データに対して、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右に示すように、水平方向が１／３、垂直方向が１／６の画素数（１６３２×５４４）の画素データを生成する。【０１１７】
具体的には、Ｇ画素については、図１０左に示す１ライン目の枠Ｇａ内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、７ライン目の枠Ｇｂ内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｒ画素については、図１０左に示す１ライン目の枠Ｒａ内の１個のＲ画素の画素データを同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図１０左に示す７ライン目の枠Ｂａ内の１個のＢ画素の画素データを同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（１２ｎ＋１）番目のライン及び（１２ｎ＋７）番目のライン上の隣接するＧ画素の画素データを各々画素混合した画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、垂直方向における（１２ｎ＋１）番目のライン上のＲ画素の画素データをベイヤー配列パターンの対応する位置のＲ画素に当てはめ、垂直方向における（１２ｎ＋７）番目のライン上のＢ画素の画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１１８】
（第５実施形態）【０１１９】
次に、本発明の第５実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１２０】
本実施形態が第４実施形態と異なるのは撮像信号の間引き方であり、その他は第４実施形態と同様である。【０１２１】
図１１には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１１左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋２）番目（ｎ＝０，１，２，・・・）のライン及び（１２ｎ＋８）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（１２ｎ＋２）番目及び（１２ｎ＋８）番目のラインの画素データのみが出力される。すなわち、垂直方向の１２ラインのうち、１、３〜７、１１、１２ライン目を間引き、２ライン目及び８ライン目の画素データを読み出すことを繰り返す。【０１２２】
画素変換処理部１８では、間引いた読み出された画素データに対して、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右に示すように、水平方向が１／３、垂直方向が１／６の画素数（１６３２×５４４）の画素データを生成する。【０１２３】
具体的には、Ｇ画素については、図１１左に示す２ライン目の枠Ｇａ内の１個のＧ画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、８ライン目の枠Ｇｂ内の１個のＧ画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ２とする。Ｒ画素については、図１１左に示す２ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図１１左に示す８ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（１２ｎ＋２）番目のライン及び（１２ｎ＋８）番目のライン上のＧ画素の画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、垂直方向における（１２ｎ＋２）番目のライン上の隣接するＲ画素を画素混合した画素データをベイヤー配列パターンの対応する位置のＲ画素に当てはめ、垂直方向における（１２ｎ＋８）番目のライン上の隣接するＢ画素を画素混合した画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１２４】
（第６実施形態）【０１２５】
次に、本発明の第６実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１２６】
本実施形態が第４実施形態と異なるのは撮像信号の間引き方であり、その他は第４実施形態と同様である。【０１２７】
図１２には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１２左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１８ｎ＋２）番目（ｎ＝０，１，２，・・・）のライン及び（１８ｎ＋１１）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（１８ｎ＋２）番目及び（１８ｎ＋１１）番目のラインの画素データのみが出力される。すなわち、垂直方向の１８ラインのうち、１、３〜１０、１２〜１８ライン目を間引き、２ライン目及び１１ライン目の画素データを読み出すことを繰り返す。【０１２８】
画素変換処理部１８では、間引いた読み出された画素データに対して、水平方向に隣接する同色の画素の画素データを画素混合することにより、同図右に示すように、水平方向が１／３、垂直方向が１／９の画素数（１６３２×３６２）の画素データを生成する。【０１２９】
具体的には、Ｇ画素については、図１２左に示す２ライン目の枠Ｇａ内の１個のＧ画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、１１ライン目の枠Ｇｂ内の１個のＧ画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ２とする。Ｂ画素については、図１２左に示す２ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＢ画素Ｂ１とし、Ｒ画素については、図１２左に示す１１ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右に示す２ライン目のＲ画素Ｒ１とする。以下同様の処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（１８ｎ＋２）番目のライン及び（１８ｎ＋１１）番目のライン上のＧ画素の画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、垂直方向における（１８ｎ＋２）番目のライン上の隣接するＢ画素を画素混合した画素データをベイヤー配列パターンの対応する位置のＢ画素に当てはめ、垂直方向における（１８ｎ＋１１）番目のライン上の隣接するＲ画素を画素混合した画素データを、ベイヤー配列パターンの対応する位置のＲ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１３０】
（第７実施形態）【０１３１】
次に、本発明の第７実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１３２】
本実施形態が第１実施形態と異なるのは画素変換処理であり、その他は第１実施形態と同様である。本実施形態では、画素変換処理部１８は、撮像素子１４から間引いて読み出された各ラインの画素データを、水平方向に隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置のＲ、Ｇ、Ｂの画素データを生成し、当該生成した各色の画素データに基づいて、ベイヤー配列画素データを生成する。【０１３３】
図１３には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１３左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目及び（６ｎ＋３）番目のラインの画素データのみが出力される。【０１３４】
画素変換処理部１８では、まず撮像素子１４から間引いて読み出された各ラインの画素データについて、水平方向に隣接する同色の画素の画素データを画素位置に応じて重み付け加算することにより、各画素位置のＲ、Ｇ、Ｂの画素データを生成する。【０１３５】
具体的には、例えばＧ画素については、図１３左上に示す１ライン目の枠Ｇａ（３画素含んでいる）内の２個のＧ画素の画素データに基づいて、その枠内の各画素の画素位置に応じて重み付け加算することにより、枠内の各画素位置のＧの画素データを生成する。枠Ｇａ内の中央の画素については、元々はＢ画素しかないが、上記の重み付け加算によってＧの画素データが補間される。このような処理を、（６ｎ＋１）番目のライン目及び（６ｎ＋１）番目のラインについて枠Ｇａを水平方向にずらしながら行うことにより、（６ｎ＋１）番目のライン及び（６ｎ＋３）番目の全ての画素位置についてＧ画素の画素データを生成する。Ｒ画素、Ｂ画素についても同様に、同図左上に示す枠Ｒａ、Ｂａ（何れも７画素含んでいる）を水平方向にずらしながら上記の重み付け加算を行うことで（６ｎ＋１）番目のライン及び（６ｎ＋３）番目のラインの全ての画素位置についてＲ画素、Ｂ画素の画素データを生成する。これにより、同図右上に示すように、（６ｎ＋１）番目及び（６ｎ＋３）番目のラインのＲ，Ｇ，Ｂの画素データが生成される。【０１３６】
次に、画素変換処理部１８は、上記のようにして生成したＲ，Ｇ，Ｂの各画素データから、同図左下に示すように、ベイヤー配列パターンに対応した位置の画素データを抜き出すことによって、同図左下に示すようなベイヤー配列パターンの画素データを生成する。そして、同図左下に示すベイヤー配列パターンの画素データを、水平方向に隣接する同色の画素を画素混合することにより、同図左下の画素データの画素数を水平方向に１／２としたベイヤー配列パターンの画素データを生成する。【０１３７】
具体的には、Ｇ画素については、図１３左下に示す１ライン目の枠Ｇａ内の２個のＧ画素を画素混合した画素データを同図右下に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、図１３左下に示す２ライン目の枠Ｇｂ内の２個のＧ画素を画素混合した画素データを同図右上に示す縮小画像の２ライン目のＧ画素Ｇ１とする。Ｒ画素については、図１３左上に示す１ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右下に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図１３左下に示す２ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右下に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右下に示すような縮小したベイヤー配列の画素データが生成される。【０１３８】
（第８実施形態）【０１３９】
次に、本発明の第８実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１４０】
本実施形態が第７実施形態と異なるのは撮像信号の間引き方であり、その他は第７実施形態と同様である。【０１４１】
図１４には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１４左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋２）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋５）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋２）番目及び（６ｎ＋５）番目のラインの画素データのみが出力される。以降の処理は第７実施形態と同様である。【０１４２】
（第９実施形態）【０１４３】
次に、本発明の第９実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１４４】
本実施形態が第７実施形態と異なるのは撮像信号の間引き方であり、その他は第７実施形態と同様である。【０１４５】
図１５には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１５左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋４）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目及び（６ｎ＋４）番目のラインの画素データのみが出力される。以降の処理は第７実施形態と同様である。【０１４６】
（第１０実施形態）【０１４７】
次に、本発明の第１０実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１４８】
本実施形態が第７実施形態と異なるのは撮影モード及び撮像信号の間引き方であり、その他は第７実施形態と同様である。【０１４９】
図１６には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１６左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目のラインの画素データのみが出力される。以降の処理は第７実施形態と同様である。【０１５０】
（第１１実施形態）【０１５１】
次に、本発明の第１１実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１５２】
本実施形態が第７実施形態と異なるのは撮影モード及び撮像信号の間引き方であり、その他は第７実施形態と同様である。【０１５３】
図１７には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１７左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋２）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋２）番目のラインの画素データのみが出力される。以降の処理は第７実施形態と同様である。【０１５４】
（第１２実施形態）【０１５５】
次に、本発明の第１２実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１５６】
本実施形態が第７実施形態と異なるのは撮影モード及び撮像信号の間引き方であり、その他は第７実施形態と同様である。【０１５７】
図１８には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１８左上に示すように、制御部２４は、駆動部２２に対して垂直方向に（９ｎ＋２）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（９ｎ＋２）番目のラインの画素データのみが出力される。以降の処理は第７実施形態と同様である。【０１５８】
（第１３実施形態）【０１５９】
次に、本発明の第１３実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１６０】
本実施形態が第１実施形態と異なるのは画素変換処理であり、その他は第１実施形態と同様である。本実施形態では、画素変換処理部１８は、撮像素子１４から間引いて読み出された各ラインの画素データから、ベイヤー配列パターンに対応した２ライン分の画素データを各々生成し、当該生成した２ラインの画素データをベイヤー配列画素データに変換する。【０１６１】
図１９には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１９左に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋３）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目及び（６ｎ＋３）番目のラインの画素データのみが出力される。【０１６２】
画素変換処理部１８では、例えば図１９左に示す１ライン目のＧ画素については、枠Ｇａ（３画素含んでいる）内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、枠Ｇａの左側に隣接する枠Ｇｂ（３画素含んでいる）内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。また、Ｒ画素については、図１９左に示す１ライン目の枠Ｒａ内の１個のＲ画素を同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図１９左に示す１ライン目の枠Ｂａ内の１個のＢ画素を同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を（６ｎ＋１）番目及び（６ｎ＋３）番目のラインの画素データについて行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向における（６ｎ＋１）番目のライン上の２組の隣接するＧ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの垂直方向における（２ｎ＋１）番目のライン及び（２ｎ＋２）番目のラインの対応する位置のＧ画素に各々当てはめ、垂直方向における（６ｎ＋３）番目のライン上の２組の隣接するＧ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの垂直方向における（２ｎ＋３）番目のライン及び（２ｎ＋４）番目のラインの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目及び（６ｎ＋３）番目のライン上のＲ画素の画素データをベイヤー配列パターンの（２ｎ＋１）番目及び（２ｎ＋３）番目のラインの対応する位置のＲ画素に各々当てはめ、（６ｎ＋１）番目及び（６ｎ＋３）番目のライン上のＢ画素の画素データを、ベイヤー配列パターンの（２ｎ＋２）番目及び（２ｎ＋４）番目のラインの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１６３】
（第１４実施形態）【０１６４】
次に、本発明の第１４実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１６５】
本実施形態が第１３実施形態と異なるのは撮影モード及び間引き処理であり、その他は第１３実施形態と同様である。【０１６６】
図２０には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図２０左に示すように、制御部２４は、駆動部２２に対して垂直方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（６ｎ＋１）番目のラインの画素データのみが出力される。【０１６７】
画素変換処理部１８では、例えば図２０左に示す１ライン目のＧ画素については、枠Ｇａ内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、枠Ｇｂ内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。また、Ｒ画素については、図２０左に示す１ライン目の枠Ｒａ内の１個のＲ画素を同図右に示す縮小画像の１ライン目のＲ画素とし、Ｂ画素については、図２０左に示す１ライン目の枠Ｂａ内の１個のＢ画素を同図右に示す２ライン目のＢ画素とする。以下同様の処理を（６ｎ＋１）番目のラインの画素データについて行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、（６ｎ＋１）番目のライン上の２組の隣接するＧ画素を画素混合した画素データを、ベイヤー配列パターンの垂直方向における（２ｎ＋１）番目のライン及び（２ｎ＋２）番目のラインの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目のライン上のＲ画素の画素データをベイヤー配列パターンの（２ｎ＋１）番目のラインの対応する位置のＲ画素に当てはめ、（６ｎ＋１）番目のライン上のＢ画素の画素データを、ベイヤー配列パターンの（２ｎ＋２）番目のラインの対応する位置の前記第３の色の画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１６８】
（第１５実施形態）【０１６９】
次に、本発明の第１５実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。【０１７０】
本実施形態が第１３実施形態と異なるのは撮影モード及び間引き処理であり、その他は第１３実施形態と同様である。【０１７１】
図２１には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図２１左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋２）番目（ｎ＝０，１，２，・・・）及び（１２ｎ＋８）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（１２ｎ＋２）番目及び（１２ｎ＋８）番目のラインの画素データのみが出力される。【０１７２】
画素変換処理部１８では、例えば図２１左に示す２ライン目のＧ画素については、枠Ｇａ内の１個の画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とし、枠Ｇｂ内の１個の画素の画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。また、Ｒ画素については、図２１左に示す２ライン目の枠Ｒａ内の１個のＲ画素を同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図２１左に示す２ライン目の枠Ｂａ内の１個のＢ画素を同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を（１２ｎ＋２）番目及び（１２ｎ＋８）番目のラインの画素データについて行う。なお、（１２ｎ＋８）番目のラインから生成されるベイヤー配列の画像は、同図右に示すように、Ｒ画素とＢ画素の位置が入れ替わる。このような処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、（１２ｎ＋２）番目のライン上の２組のＧ画素を、ベイヤー配列パターンの垂直方向における（２ｎ＋１）番目のライン及び（２ｎ＋２）番目のラインの対応する位置のＧ画素に各々当てはめ、（１２ｎ＋２）番目のライン上の隣接するＲ画素を画素混合した画素データをベイヤー配列パターンの（２ｎ＋１）番目のラインの対応する位置のＲ画素に当てはめ、（１２ｎ＋８）番目のライン上の隣接するＲ画素を画素混合した画素データをベイヤー配列パターンの（２ｎ＋４）番目のラインの対応する位置のＲ画素に当てはめ、（１２ｎ＋２）番目のライン上の隣接するＢ画素を画素混合した画素データを、ベイヤー配列パターンの（２ｎ＋２）番目のラインの対応する位置の前記第３の色の画素に当てはめ、（１２ｎ＋８）番目のライン上の隣接するＢ画素を画素混合した画素データを、ベイヤー配列パターンの（２ｎ＋３）番目のラインの対応する位置の前記第３の色の画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。【０１７３】
なお、上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。
【符号の説明】
【０１７４】
１０  撮像装置
１２  光学系
１４  撮像素子
１６  撮像処理部
１８  画素変換処理部
２０  画像処理部
２２  駆動部
２４  制御部
３０  カラーフィルタ
【図１】
2012124181.tif 000003
【図２】
2012124181.tif 000004
【図３】
2012124181.tif 000005
【図４】
2012124181.tif 000006
【図５】
2012124181.tif 000007
【図６】
2012124181.tif 000008
【図７】
2012124181.tif 000009
【図８】
2012124181.tif 000010
【図９】
2012124181.tif 000011
【図１０】
2012124181.tif 000012
【図１１】
2012124181.tif 000013
【図１２】
2012124181.tif 000014
【図１３】
2012124181.tif 000015
【図１４】
2012124181.tif 000016
【図１５】
2012124181.tif 000017
【図１６】
2012124181.tif 000018
【図１７】
2012124181.tif 000019
【図１８】
2012124181.tif 000020
【図１９】
2012124181.tif 000021
【図２０】
2012124181.tif 000022
【図２１】
2012124181.tif 000023
【図２２】
2012124181.tif 000024
【図２３】
2012124181.tif 000025
【図２４】
2012124181.tif 000026
【手続補正書】
【提出日】平成25年11月25日(2013.11.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＢ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
具体的には、Ｒ画素については、図４左上に示す１ライン目の枠Ｒａ（５画素含んでいる）内の３個のＲ画素を画素混合（例えば３個のＲ画素の画素値の平均値をとる。以下同様）して同図右上に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｇ画素については、図４左上に示す１ライン目の枠Ｇａ（５画素含んでいる）内の３個のＧ画素を画素混合して、同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、図４左上に示す４ライン目の枠Ｇｂ（５画素含んでいる）内の３個のＧ画素を画素混合して、同図右上に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｂ画素については、図４左上に示す４ライン目の枠Ｂａ（５画素含んでいる）内の３個のＢ画素を画素混合して同図右上に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
具体的には、Ｇ画素については、図７左上に示す１ライン目の枠Ｇａ内の２個のＧ画素を画素混合（例えば２個のＧ画素の画素値の平均値をとる。以下同様）して、同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、３ライン目の枠Ｇｂ内の２個のＧ画素を画素混合して、同図右上に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｂ画素については、図７左上に示す１ライン目の枠Ｂａ内の１個のＢ画素を同図右上に示す縮小画像の１ライン目のＢ画素Ｂ１とし、Ｒ画素については、図７左上に示す３ライン目の枠Ｒａ内の１個のＲ画素を同図右上に示す２ライン目のＲ画素Ｒ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（６ｎ＋１）番目のライン及び（６ｎ＋３）番目のライン上の隣接するＧ画素の画素データを各々画素混合した画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目のライン上のＢ画素の画素データをベイヤー配列パターンの対応する位置のＢ画素に当てはめ、垂直方向に（６ｎ＋３）番目のライン上のＲ画素の画素データを、ベイヤー配列パターンの対応する位置のＲ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
具体的には、Ｇ画素については、図８左上に示す２ライン目の枠Ｇａ内の１個の画素を同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、５ライン目の枠Ｇｂ内の１個の画素を同図右上に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｒ画素については、図８左上に示す２ライン目の枠Ｒａ内の２個のＲ画素Ｒ１を画素混合した画素データを同図右上に示す縮小画像の１ライン目のＲ画素とし、Ｂ画素については、図８左上に示す５ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右上に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（６ｎ＋２）番目のライン及び（６ｎ＋５）番目上のＧ画素の画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、（６ｎ＋２）番目のライン上の隣接するＲ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの対応する位置のＲ画素に当てはめ、（６ｎ＋５）番目のライン上の隣接するＢ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
具体的には、Ｇ画素については、図９左上に示す１ライン目の枠Ｇａ内の２個のＧ画素を画素混合した画素データを同図右上に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、４ライン目の枠Ｇｂ内の２個のＧ画素を画素混合した画素データを同図右上に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｒ画素については、図９左上に示す１ライン目の枠Ｒａ内の１個のＲ画素を同図右上に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図９左上に示す４ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右上に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右上に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（６ｎ＋１）番目のライン及び（６ｎ＋４）番目のライン上の隣接するＧ画素の画素データを各々画素混合した画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目のライン上のＲ画素の画素データをベイヤー配列パターンの対応する位置のＲ画素に当てはめ、（６ｎ＋４）番目のライン上の隣接するＢ画素の画素データを画素混合した画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
本実施形態では、図１０左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋１）番目（ｎ＝０，１，２，・・・）のライン及び（１２ｎ＋７）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（１２ｎ＋１）番目及び（１２ｎ＋７）番目のラインの画素データのみが出力される。すなわち、垂直方向の１２ラインのうち、２〜６、８〜１２ライン目を間引き、１ライン目及び７ライン目の画素データを読み出すことを繰り返す。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
図１１には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図１１左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋２）番目（ｎ＝０，１，２，・・・）のライン及び（１２ｎ＋８）番目（ｎ＝０，１，２，・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、（１２ｎ＋２）番目及び（１２ｎ＋８）番目のラインの画素データのみが出力される。すなわち、垂直方向の１２ラインのうち、１、３〜７、９〜１２ライン目を間引き、２ライン目及び８ライン目の画素データを読み出すことを繰り返す。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
具体的には、Ｇ画素については、図１１左に示す２ライン目の枠Ｇａ内の１個のＧ画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、８ライン目の枠Ｇｂ内の１個のＧ画素の画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｒ画素については、図１１左に示す２ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図１１左に示す８ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（１２ｎ＋２）番目のライン及び（１２ｎ＋８）番目のライン上のＧ画素の画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、垂直方向における（１２ｎ＋２）番目のライン上の隣接するＲ画素を画素混合した画素データをベイヤー配列パターンの対応する位置のＲ画素に当てはめ、垂直方向における（１２ｎ＋８）番目のライン上の隣接するＢ画素を画素混合した画素データを、ベイヤー配列パターンの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
具体的には、Ｇ画素については、図１２左に示す２ライン目の枠Ｇａ内の１個のＧ画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、１１ライン目の枠Ｇｂ内の１個のＧ画素の画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｂ画素については、図１２左に示す２ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＢ画素Ｂ１とし、Ｒ画素については、図１２左に示す１１ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右に示す２ライン目のＲ画素Ｒ１とする。以下同様の処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、垂直方向に（１８ｎ＋２）番目のライン及び（１８ｎ＋１１）番目のライン上のＧ画素の画素データを、ベイヤー配列パターンの対応する位置のＧ画素に各々当てはめ、垂直方向における（１８ｎ＋２）番目のライン上の隣接するＢ画素を画素混合した画素データをベイヤー配列パターンの対応する位置のＢ画素に当てはめ、垂直方向における（１８ｎ＋１１）番目のライン上の隣接するＲ画素を画素混合した画素データを、ベイヤー配列パターンの対応する位置のＲ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
具体的には、例えばＧ画素については、図１３左上に示す１ライン目の枠Ｇａ（３画素含んでいる）内の２個のＧ画素の画素データに基づいて、その枠内の各画素の画素位置に応じて重み付け加算することにより、枠内の各画素位置のＧの画素データを生成する。枠Ｇａ内の中央の画素については、元々はＢ画素しかないが、上記の重み付け加算によってＧの画素データが補間される。このような処理を、（６ｎ＋１）番目のライン目及び（６ｎ＋３）番目のラインについて枠Ｇａを水平方向にずらしながら行うことにより、（６ｎ＋１）番目のライン及び（６ｎ＋３）番目の全ての画素位置についてＧ画素の画素データを生成する。Ｒ画素、Ｂ画素についても同様に、同図左上に示す枠Ｒａ、Ｂａ（何れも７画素含んでいる）を水平方向にずらしながら上記の重み付け加算を行うことで（６ｎ＋１）番目のライン及び（６ｎ＋３）番目のラインの全ての画素位置についてＲ画素、Ｂ画素の画素データを生成する。これにより、同図右上に示すように、（６ｎ＋１）番目及び（６ｎ＋３）番目のラインのＲ，Ｇ，Ｂの画素データが生成される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
具体的には、Ｇ画素については、図１３左下に示す１ライン目の枠Ｇａ内の２個のＧ画素を画素混合した画素データを同図右下に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、図１３左下に示す２ライン目の枠Ｇｂ内の２個のＧ画素を画素混合した画素データを同図右下に示す縮小画像の２ライン目のＧ画素Ｇ２とする。Ｒ画素については、図１３左下に示す１ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右下に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図１３左下に示す２ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右下に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を行うことにより、同図右下に示すような縮小したベイヤー配列の画素データが生成される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
画素変換処理部１８では、例えば図２０左に示す１ライン目のＧ画素については、枠Ｇａ内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とすると共に、枠Ｇｂ内の２個のＧ画素を画素混合した画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。また、Ｒ画素については、図２０左に示す１ライン目の枠Ｒａ内の１個のＲ画素を同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図２０左に示す１ライン目の枠Ｂａ内の１個のＢ画素を同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を（６ｎ＋１）番目のラインの画素データについて行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、（６ｎ＋１）番目のライン上の２組の隣接するＧ画素を画素混合した画素データを、ベイヤー配列パターンの垂直方向における（２ｎ＋１）番目のライン及び（２ｎ＋２）番目のラインの対応する位置のＧ画素に各々当てはめ、（６ｎ＋１）番目のライン上のＲ画素の画素データをベイヤー配列パターンの（２ｎ＋１）番目のラインの対応する位置のＲ画素に当てはめ、（６ｎ＋１）番目のライン上のＢ画素の画素データを、ベイヤー配列パターンの（２ｎ＋２）番目のラインの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【０１７２】
画素変換処理部１８では、例えば図２１左に示す２ライン目のＧ画素については、枠Ｇａ内の１個の画素の画素データを同図右に示す縮小画像の１ライン目のＧ画素Ｇ１とし、枠Ｇｂ内の１個の画素の画素データを同図右に示す縮小画像の２ライン目のＧ画素Ｇ２とする。また、Ｒ画素については、図２１左に示す２ライン目の枠Ｒａ内の２個のＲ画素を画素混合した画素データを同図右に示す縮小画像の１ライン目のＲ画素Ｒ１とし、Ｂ画素については、図２１左に示す２ライン目の枠Ｂａ内の２個のＢ画素を画素混合した画素データを同図右に示す２ライン目のＢ画素Ｂ１とする。以下同様の処理を（１２ｎ＋２）番目及び（１２ｎ＋８）番目のラインの画素データについて行う。なお、（１２ｎ＋８）番目のラインから生成されるベイヤー配列の画像は、同図右に示すように、Ｒ画素とＢ画素の位置が入れ替わる。このような処理を行うことにより、同図右に示すような縮小したベイヤー配列の画素データが生成される。すなわち、（１２ｎ＋２）番目のライン上の２組のＧ画素を、ベイヤー配列パターンの垂直方向における（２ｎ＋１）番目のライン及び（２ｎ＋２）番目のラインの対応する位置のＧ画素に各々当てはめ、（１２ｎ＋２）番目のライン上の隣接するＲ画素を画素混合した画素データをベイヤー配列パターンの（２ｎ＋１）番目のラインの対応する位置のＲ画素に当てはめ、（１２ｎ＋８）番目のライン上の隣接するＲ画素を画素混合した画素データをベイヤー配列パターンの（２ｎ＋４）番目のラインの対応する位置のＲ画素に当てはめ、（１２ｎ＋２）番目のライン上の隣接するＢ画素を画素混合した画素データを、ベイヤー配列パターンの（２ｎ＋２）番目のラインの対応する位置のＢ画素に当てはめ、（１２ｎ＋８）番目のライン上の隣接するＢ画素を画素混合した画素データを、ベイヤー配列パターンの（２ｎ＋３）番目のラインの対応する位置のＢ画素に当てはめることにより、撮像素子１４から間引いて読み出された各ラインの画素データをベイヤー配列画素データに変換する。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2012124181.tif 000027
【国際調査報告】
2012124181.tif 000028
2012124181.tif 000029