(57)【特許請求の範囲】
【請求項１】
カラー画像信号を処理する画像処理装置において、
固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理手段と、
各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、
画像信号におけるフィルタ成分の入力シーケンスに応じた制御パラメータの設定を受け付けるパラメータ受信手段と、
前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、
前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理手段に供給する読み出し手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記書き込み手段は、
前記制御パラメータの設定に基づき、各チャネルの前記入力画像信号における各フィルタ成分の出現の有無を示すイネーブル信号を生成するイネーブル生成手段と、
前記制御パラメータの設定に基づき、同じフィルタ成分の信号が同時に出現しないように、前記入力画像信号および前記イネーブル信号をチャネルごとに同じクロック数だけ遅延させる遅延調整手段と、
前記遅延調整手段からの前記イネーブル信号に基づき、前記遅延調整手段からの画像信号をフィルタ成分ごとに振り分け、対応する前記記憶領域にその先頭から隙間なく順次書き込む書き込み制御手段と、
を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記イネーブル生成手段は、
各チャネルの前記入力画像信号に現れるフィルタ成分の繰り返し数までの値を、画素信号の入力タイミングに同期して繰り返しカウントするカウント手段と、
前記制御パラメータの設定に基づき、前記入力画像信号のチャネルごと、かつ、前記カウント手段による各カウント値の入力タイミングごとに、フィルタ成分のそれぞれが前記入力画像信号に出現するか否かを示すフラグ信号を出力するフラグ出力手段と、
同じフィルタ成分かつ同じチャネルに対応する前記フラグ信号の入力を受け、前記カウント手段のカウント値に対応する前記フラグ信号を前記イネーブル信号として選択的に出力する複数の選択手段と、
を有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記カウント手段のカウント値の繰り返し数は、前記制御パラメータの設定に基づいて可変とされていることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記書き込み制御手段は、
前記遅延調整手段からの各チャネルの画像信号から１つのチャネルを個別に選択して前記記憶領域のそれぞれに出力する複数のチャネル選択手段と、
前記遅延調整手段からの前記イネーブル信号のうち、フィルタ成分ごとの信号の組み合わせに応じて、前記チャネル選択手段のそれぞれの選択動作を制御する選択制御手段と、
を有することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記読み出し手段は、前記制御パラメータの設定に応じて複数種類から選択した規則に従ってカウント動作を行い、前記記憶領域のそれぞれの読み出しアドレスを出力する複数のアドレスカウント手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記信号処理手段に対する前記読み出し手段からの前記出力チャネルの数は、フィルタ成分の数、またはその整数倍とされていることを特徴とする請求項１記載の画像処理装置。
【請求項８】
固体撮像素子を用いて画像を撮像する撮像装置において、
前記固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理手段と、
各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、
画像信号におけるフィルタ成分の入力シーケンスに応じた制御パラメータの設定を受け付けるパラメータ受信手段と、
前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、
前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理手段に供給する読み出し手段と、
を有することを特徴とする撮像装置。
【請求項９】
前記固体撮像素子は、複数のチャネルから異なる画素の信号を並行して読み出すことが可能であることを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記固体撮像素子から読み出された複数チャネルの画像信号を時分割多重化し、より少ないチャネル数の画像信号として出力する多重化手段をさらに有することを特徴とする請求項９記載の撮像装置。
【請求項１１】
固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理回路に対して、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を供給するための画像処理方法において、
パラメータ受信手段が、前記入力画像信号におけるフィルタ成分の入力シーケンスに応じた制御パラメータの設定を受け付けるステップと、
書き込み手段が、前記制御パラメータの設定に基づいて、前記入力画像信号をフィルタ成分ごとに振り分け、フィルタ成分ごとに設けられた記憶領域のそれぞれに書き込むステップと、
読み出し手段が、前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理回路に供給するステップと、
を含むことを特徴とする画像処理方法。
【請求項１２】
固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理回路に対して、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を供給する処理を、コンピュータに実行させる画像処理プログラムにおいて、
前記入力画像信号におけるフィルタ成分の入力シーケンスに応じた制御パラメータの設定を受け付けるパラメータ受信手段、
前記制御パラメータの設定に基づいて、前記入力画像信号をフィルタ成分ごとに振り分け、フィルタ成分ごとに設けられた記憶領域のそれぞれに書き込む書き込み手段、
前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理回路に供給する読み出し手段、
として前記コンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像信号を処理する画像処理装置、およびこの機能を具備する撮像装置に関する。
【背景技術】
【０００２】
デジタルビデオカメラやデジタルスチルカメラなどの撮像装置には、撮像素子としてＣＣＤ（Charge Coupled Devices）、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下、ＣＭＯＳセンサと呼ぶ）などが搭載されている。これらの撮像素子は、一般的に、２次元配列された画素から読み出した信号を１本のデータストリームに変換して、１つの出力チャネルから出力している。例えば、一般的なＣＣＤでは、列ごとに配置された垂直レジスタに画素信号を転送した後、それらの信号を水平レジスタに行ごとに転送して出力することで、１本のデータストリームに変換する。また、ＣＭＯＳセンサでは、例えば１行分の画素信号を読み出して各列のコンデンサに蓄積した後、それらの信号を端から順に出力することで、１本のデータストリームに変換している。
【０００３】
図３３は、このような１チャネル出力型の撮像素子を用いた撮像装置の要部構成例を示すブロック図である。
図３３において、アナログフロントエンド（ＡＦＥ）回路９１２は、ＣＤＳ（Correlated Double Sampling）回路やＡＧＣ（Auto Gain Control）回路、Ａ／Ｄ変換回路などを備え、撮像素子９１１からのアナログ画像信号をデジタル変換して出力する。カメラ信号処理回路９１３は、ＡＦＥ回路９１２からの画像信号に対して、デジタルクランプ、ノイズリダクション、欠陥補正、デモザイク（同時化処理）、ホワイトバランス調整、解像度変換などといった各種カメラ信号処理を施し、最終的には輝度信号（Ｙ）および色差信号（Ｃ）として画像信号をベースバンド処理回路９１４に出力する。ベースバンド処理回路９１４は、入力された画像信号の圧縮符号化や、モニタ表示用の信号への変換などのベースバンド系処理を行う。
【０００４】
ここで、撮像素子のフィルタコーディングとして一般的なベイヤ配列を例として挙げ、カメラ信号処理回路９１３に入力される画像信号の色シーケンスについて考察する。まず、図３４は、ベイヤ配列の撮像素子の画素信号を１つの出力チャネルから出力した場合の色シーケンスを説明する図である。
【０００５】
ベイヤ配列の撮像素子では、図３４（Ａ）に示すように、奇数行に先頭からＲ、Ｇｒが交互に配置され、偶数行に先頭からＧｂ、Ｂが交互に配置された画素配列を持つ。出力チャネルが１つである場合、このような画素配列の左上から水平方向に順次走査し、１Ｈ期間が終了すると次の行を走査して画素信号を読み出す。このため、撮像素子９１１から出力チャネルＣｈ１に出力される画素信号の色シーケンスは、図３４（Ｂ）に示すように、奇数番目のＨ期間にはＲ，Ｇｒ，Ｒ，Ｇｒ……となり、偶数番目のＨ期間にはＧｂ，Ｂ，Ｇｂ，Ｂ……となる。従って、色別の処理を行うカメラ信号処理回路９１３の内部では、このような色シーケンスを意識し、入力信号に対してＲ用、Ｇ用、Ｂ用の各処理を色シーケンスに合わせてタイミングを図りながら適切に行う必要がある。
【０００６】
ところで、近年では１００万画素を優に超えるような多画素の撮像素子が採用された撮像装置が多くなっている。このような撮像素子では、画素数が多いために、前述したような１チャネルで画素信号を読み出す方法では読み出し周波数が飛躍的に高くなってしまう。特に、ビデオカメラのように１画面あたりの読み出し時間に制約がある場合には実現が容易でなく、例えば、あまりにも読み出し周波数が高くなると、消費電力が増大するだけでなく、アナログ信号処理の制約によって適切に信号を読み出すこと自体が不可能になってしまう。
【０００７】
このような問題を回避するために、最近では、撮像素子の画素信号を多チャネルで読み出すようにしたカメラ信号処理システムが開発されている。撮像素子から画素信号を多チャネルで読み出すことができれば、１チャネルあたりの読み出し周波数を下げることができるため、上記のような問題を回避することができる。
【０００８】
なお、多チャネル読み出しを採用した場合には、チャネル間のアナログ信号バラツキなどの特有の問題が発生することがある。このため、チャネル間のレベル差を検出してレベル補正を行う技術（例えば、特許文献１参照）や、そのレベル差を複数ラインに亘る積分値から検出する技術（例えば、特許文献２参照）などが従来から考えられていた。
【０００９】
以下、ベイヤ配列の撮像素子において出力チャネルを複数とした場合の色シーケンスの例を挙げる。図３５〜図３７は、画素信号を２チャネル、３チャネル、４チャネルでそれぞれ読み出した場合の色シーケンスを説明する図である。
【００１０】
図３５（Ａ）では、２つの出力チャネルＣｈ１およびＣｈ２に対して、先頭画素から交互に出力している。この場合には、図３５（Ｂ）のように、各出力チャネルに対して１クロック当たり２画素分を同時に読み出すことで、読み出し周波数を１／２とすることができる。また、図３６（Ａ）では、先頭画素から順に３つの出力チャネルＣｈ１〜Ｃｈ３を割り当てて出力している。この場合には、図３６（Ｂ）のように、１クロック当たり３画素分を同時に出力することで、読み出し周波数を１／３とすることができる。また、図３７（Ａ）では、先頭画素から順に４つの出力チャネルＣｈ１〜Ｃｈ４を割り当てて出力している。この場合には、図３７（Ｂ）のように、１クロック当たり４画素分を同時に出力することで、読み出し周波数を１／４とすることができる。
【００１１】
さらに、以下の図３８〜図４０のように、複数ライン分の画素信号を各出力チャネルに同時に読み出す方法もある。図３８〜図４０は、２ラインの画素信号をそれぞれ２チャネル、４チャネル、６チャネルで読み出した場合の色シーケンスを説明する図である。
【００１２】
図３８（Ａ）では、撮像素子上の奇数行に出力チャネルＣｈ１、偶数行に出力チャネルＣｈ２を割り当てて出力している。この場合には、図３８（Ｂ）のように、１クロック当たり２行分の画素信号を同時に読み出すことで、読み出し周波数を１／２とすることができる。
【００１３】
また、図３９（Ａ）では、撮像素子上の２行×２列の単位で出力チャネルＣｈ１〜Ｃｈ４を割り当てている。この例では、１列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ１、Ｃｈ２に、２列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ３およびＣｈ４に出力している。この場合、図３９（Ｂ）のように、１クロック当たり４画素分を同時に読み出すことで、読み出し周波数を１／４とすることができる。
【００１４】
また、図４０（Ａ）では、撮像素子上の２行×３列の単位で出力チャネルＣｈ１〜Ｃｈ６を割り当てている。この例では、１列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ１、Ｃｈ２に、２列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ３およびＣｈ４に、３列目の１行目、２行目の信号をそれぞれ出力チャネルＣｈ５およびＣｈ６出力している。この場合、図４０（Ｂ）のように、１クロック当たり６画素分を同時に読み出すことで、読み出し周波数を１／６とすることができる。
【００１５】
なお、ＣＭＯＳセンサのようなＸＹアドレス走査型の撮像素子では、基本的な構造を大きく変えることなく、上記のような各種の読み出し動作を比較的容易に実現することができる。
【００１６】
以上のように、出力チャネルを複数にすることで、１画面分の画素信号を読み出すための総クロック数を減少させ、読み出し周波数を低減することができる。その一方で、出力チャネル数や、どの画素群を並列に読み出すかによって、上記のように多数の出力シーケンスが存在するため、これらの出力シーケンスのそれぞれに適する信号処理回路を開発し、搭載させる必要があるということになる。
【００１７】
例えば、図３９では、読み出しの際にＲ，Ｇｂ，Ｇｒ，Ｂの４つのフィルタ成分が繰り返して出現するが、このような繰り返し数の“４”（あるいはその整数倍）と出力チャネル数とが一致する場合には、この図３９のように、どのＨ期間においても１つの出力チャネルからは１つの同じフィルタ成分の信号のみ出力されるようにすることができる。これにより、後段の回路（例えば図３３のカメラ信号処理回路９１３）では同じフィルタ成分ごとに信号を処理できるので、回路構成を単純化できる。しかし、例えば図４０の場合のように、上記の条件が成り立たないことも多く、回路規模や製造コストに基づく出力チャネル数や読み出し周波数の制約などから考えても、上記条件を常に満たすように設計することは容易ではない。
【００１８】
さらに、撮像素子から出力された多チャネルの信号を、後段の回路にそのまま渡さずに、信号を多重化してチャネル数を減らした上で送出するシステムも存在している。図４１は、このような多重化機能を備えた信号処理系の構成例を示すブロック図である。
【００１９】
図４１の信号処理系は、ＡＦＥ回路９１２ａに画像信号の多重化（ＭＵＸ：Multiplexer）機能を設けた点が、図３３の構成と異なっている。ＡＦＥ回路９１２ａは、撮像素子からのＮチャネル（Ｎは２以上の整数）の出力信号を、例えばＮ／２チャネルの信号として多重化する。例えば、撮像素子９１１からの隣接する２つの出力チャネルの信号を時分割多重化することで、出力チャネル数を減らすことができる。このような多重化により出力周波数が２倍になるが、画素信号をデジタル変換した後に多重化処理を行うことで実現できる。
【００２０】
このような多重化処理では、多重化するチャネルの組み合わせが多数考えられるため、上述した撮像素子からの出力チャネル数や並列読み出しのパターンに加えて、さらに多数の異なる出力シーケンスのそれぞれに対応する信号処理回路を開発する必要が生じてしまう。
【特許文献１】特開平７−７５０１９号公報（段落番号〔００１３〕〜〔００１６〕、図１）
【特許文献２】特開２００２−２５２８０８号公報（段落番号〔００２０〕〜〔００３３〕、図１）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
上記のように、撮像素子からの画素信号の出力シーケンスは非常に多数のパターンがあり、それらを多重化した場合にはさらに多数のパターンが考えられる。後段の信号処理回路は、内部の全ブロックでこのような出力シーケンスを意識した動作を行う構成とする必要があるが、上記のような多くのパターンに対応できるようにするためには、非常に複雑かつ大規模な回路構成となってしまう。
【００２２】
近年では、多種の撮像装置を発売する際の開発・製造コストの削減を目的として、画素数などの仕様の異なる撮像素子に対応でき、しかもその後の１年や数年に亘って基本構成を変えずに利用できるように、信号処理回路を設計することが求められている。しかし、新しい信号処理回路の開発時点では、その後の数年間に採用される画素信号の読み出し方式をすべて決定しておくことは困難であり、対応できる仕様の範囲にも限度があった。
【００２３】
本発明はこのような点に鑑みてなされたものであり、画像信号の入力シーケンスの変化に対して汎用性が高く、回路規模の小さい画像処理装置を提供することを目的とする。
また、本発明の他の目的は、画像信号の入力シーケンスの変化に対して汎用性が高く、回路規模の小さい画像処理機能を備えた撮像装置を提供することである。
【課題を解決するための手段】
【００２４】
本発明では上記課題を解決するために、カラー画像信号を処理する画像処理装置において、固体撮像素子上のカラーフィルタに応じて分類した複数のフィルタ成分の画像信号を並列に処理する機能を備えた信号処理手段と、各フィルタ成分に対応する個別の記憶領域を備えた記憶手段と、画像信号におけるフィルタ成分の入力シーケンスに応じた制御パラメータの設定を受け付けるパラメータ受信手段と、前記固体撮像素子の出力信号に基づく複数チャネルの入力画像信号を、当該入力画像信号における前記入力シーケンスに応じた前記制御パラメータの設定に基づいてフィルタ成分ごとに振り分け、対応する前記記憶領域に書き込む書き込み手段と、前記各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、前記信号処理手段に供給する読み出し手段とを有することを特徴とする画像処理装置が提供される。
【００２５】
このような画像処理装置において、信号処理手段は、複数のフィルタ成分の画像信号を並列に処理する機能を備えており、固体撮像素子の出力信号に基づく複数チャネルの入力画像信号が、書き込み手段および読み出し手段の制御により記憶手段に一旦記憶された後、信号処理手段に供給される。記憶手段は、上記のフィルタ成分にそれぞれ対応する個別の記憶領域を備えている。また、パラメータ受信手段は、画像信号におけるフィルタ成分の入力シーケンスに応じた制御パラメータの設定を受け付ける。
【００２６】
書き込み手段は、複数チャネルの入力画像信号を、当該入力画像信号における入力シーケンスに応じた制御パラメータの設定に基づいて、上記のフィルタ成分ごとに振り分け、対応する記憶領域に書き込む。読み出し手段は、各記憶領域から個別の出力チャネルを通じて画像信号を順次読み出し、信号処理手段に供給する。これにより、記憶手段の各出力チャネルからは、信号処理手段により並行に処理されるフィルタ成分ごとに並び替えられた画像信号が出力され、画像信号の入力シーケンスに関係なく、常に一定の規則でフィルタ成分が配列された画像信号が信号処理手段に供給されるようになる。
【発明の効果】
【００２７】
本発明の画像処理装置によれば、書き込み手段により、複数チャネルの入力画像信号が、入力シーケンスに応じた制御パラメータの設定に応じて、信号処理手段で並行に処理されるフィルタ成分ごとに振り分けられて、対応する記憶領域に書き込まれ、読み出し手段により、各記憶領域から個別の出力チャネルを通じて画像信号が順次読み出され、信号処理手段に供給される。これにより、記憶手段の各出力チャネルからは、信号処理手段により並行に処理されるフィルタ成分ごとに並び替えられた画像信号が出力されるので、画像信号の入力シーケンスが異なる場合にも、制御パラメータを設定するだけで、常に一定の規則でフィルタ成分が配列された画像信号を信号処理手段に供給できる。
【００２８】
従って、例えば、固体撮像素子の読み出しチャネル数や、読み出した画像信号の多重化方法、画素数、フィルタコーディングなどの仕様の組み合わせによる入力シーケンスの変化に対して、回路構成を変更することなく広く対応可能となり、かつ、それらの入力シーケンスのすべてに対応する処理機能を信号処理手段に設けた場合と比較して回路規模を大幅に縮小できる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、光学ブロック１１、ドライバ１１ａ、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと略称する）１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、デジタル信号処理回路１４、カメラ制御回路１５、ヒューマンＩ／Ｆ（インタフェース）制御回路１６、ユーザＩ／Ｆ１７、および手ぶれセンサ１８を具備する。
【００３０】
光学ブロック１１は、被写体からの光をＣＭＯＳセンサ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、カメラ制御回路１５からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。
【００３１】
ＣＭＯＳセンサ１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などからなる複数の画素が２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。ＣＭＯＳセンサ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、カメラ制御回路１５の制御の下でタイミング信号を出力する。
【００３２】
このＣＭＯＳセンサ１２は、画素信号を出力するための複数の出力チャネルを備え、それらの出力チャネルから画素信号を並行して出力することで、読み出し周波数を低減できるようになっている。さらに、例えば、１ライン分の画素信号を出力するときに、撮像素子上の隣接している同じフィルタ成分の画素の信号を加算して同時に出力することによって、画素信号を読み出す際の同期周波数を高めることなく、通常より高速な画面レートで画像信号を出力する機能を備えていてもよい。なお、この撮像素子としては、例えばＣＣＤなど、ＣＭＯＳセンサ以外のものが用いられてもよい。
【００３３】
ＡＦＥ回路１３は、例えば１つのＩＣ（Integrated Circuit）として構成され、ＣＭＯＳセンサ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、ＣＭＯＳセンサ１２と同一基板上に形成されてもよい。
【００３４】
このＡＦＥ回路１３はさらに、ＣＭＯＳセンサ１２から複数チャネルにより入力される画像信号を時分割多重化し、チャネル数を減らして出力する多重化（ＭＵＸ）機能を備えている。例えば、ＣＭＯＳセンサ１２からのＮチャネルの画像信号を受けて、Ｎ／２チャネルの信号として出力する。
【００３５】
デジタル信号処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整、ガンマ補正などの各種カメラ信号処理やその制御のための検波処理、またはそれらの処理の一部を実行する。また、本実施の形態では特に、上記の各種処理ブロックに対して、ＡＦＥ回路１３からの複数チャネルの画像信号を並び替えて入力させる機能を備えている。
【００３６】
カメラ制御回路１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。例えば、デジタル信号処理回路１４による検波データや手ぶれセンサ１８による検出信号に基づいて、現在の入力画像の状態を把握し、ヒューマンＩ／Ｆ制御回路１６により指定される各種設定モードに応じて、撮影動作制御や画質補正制御を行う。
【００３７】
ユーザＩ／Ｆ１７は、設定状態などをユーザに通知するための表示機能や、ユーザの操作入力用のキー、レバーなどからなる。ヒューマンＩ／Ｆ制御回路１６は、ユーザにより選択されている撮影モードなどの設定状態を検知し、カメラ制御回路１５に対して通知する。また、カメラ制御回路１５を通じて得たカメラ制御情報（被写体距離やＦ値、シャッタスピード、ズーム倍率など）をユーザＩ／Ｆ１７に表示させ、ユーザに通知する。
【００３８】
手ぶれセンサ１８は、例えば２軸方向に対する加速度センサあるいは角度速度センサなどにより撮影時の手ぶれを検出して、検出信号をカメラ制御回路１５に対して供給する。
この撮像装置では、ＣＭＯＳセンサ１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。デジタル信号処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｃ）に変換して出力する。
【００３９】
デジタル信号処理回路１４から出力された画像データは、図示しないグラフィックＩ／Ｆに供給されて表示用の画像信号に変換され、これによりＬＣＤ（Liquid Crystal Display）などの表示部にカメラスルー画像が表示される。また、ユーザＩ／Ｆ１７に対するユーザの入力操作などによりカメラ制御回路１５に対して画像の記録が指示されると、デジタル信号処理回路１４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、デジタル信号処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、デジタル信号処理回路１４で処理された画像データがエンコーダに連続的に供給される。
【００４０】
次に、この撮像装置のＣＭＯＳセンサ１２に適用されるフィルタコーディングについて説明する。図２は、ＣＭＯＳセンサ１２におけるカラーフィルタの配列を示す図である。
この図２に示すカラーフィルタ配列は、正方格子状の配列を４５°傾けるとともに、ＲおよびＢの各フィルタの周りをすべてＧのフィルタで囲んだ構成となっている。この構成により、Ｒ・Ｂ成分について人間の視感度特性上必要十分な空間周波数特性が得られながらも、これらの成分より人間の感度の高いＧ成分の空間周波数特性を、従来のベイヤ配列より高めることが可能となる。Ｇ成分は輝度成分を生成する上で主成分となるものであり、これにより無彩色の被写体だけでなく、有彩色の被写体に対する輝度の解像度が高められ、画質が向上する。
【００４１】
なお、このカラーフィルタ配列では、図２中の点線矢印で示したように、１水平同期期間に、隣接する２行の画素を交互に読み出す方法を基本とする。すなわち、出力チャネルが１つだけのときはこのような順に走査して読み出しを行う。そして、このようなカラーフィルタ配列の撮像素子から、以下に示すように最大８つの出力チャネルを用いて、様々な方法で読み出しを行う。
【００４２】
図３は、ＣＭＯＳセンサ１２からの多チャネル読み出しとその信号の多重化のための構成を示す図である。
上述したように、ＡＦＥ回路１３は、ＣＭＯＳセンサ１２からのＮチャネルの画素信号を多重化して、Ｎ／２チャネルの信号として出力する。以下の実施の形態の説明では、この図３に示すように、ＣＭＯＳセンサ１２からは最大８つの出力チャネルにより画素信号を並行して読み出し、ＡＦＥ回路１３に供給する場合を想定し、これらの出力チャネルをＣｈ１〜Ｃｈ８とする。また、ＡＦＥ回路１３は、これらの８チャネル分の入力信号を受けて時分割多重化し、最大４チャネルの多重化信号Ｓｉｇ１〜Ｓｉｇ４としてデジタル信号処理回路１４に供給する。
【００４３】
このような構成により、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４の出力周波数は、ＣＭＯＳセンサ１２の読み出し周波数の２倍となる。ＣＭＯＳセンサ１２では、その画素数が数百万といった大きな値となっても、より多くの画素信号を並行して読み出すことで、読み出し周波数をアナログ信号処理の制約の範囲内に収めることができる。一方、ＡＦＥ回路１３からデジタル信号処理回路１４への多重化信号Ｓｉｇ１〜Ｓｉｇ４はデジタル信号として転送されるため、その転送周波数をＣＭＯＳセンサ１２の読み出し周波数より容易に高くすることができる。
【００４４】
図４は、ＣＭＯＳセンサ１２上の画素位置に対する出力チャネルの割り当ての例を示す図である。
本実施の形態では、図４に示すように、ＣＭＯＳセンサ１２上のカラーフィルタを、Ｒ、Ｂ、Ｇｒ、Ｇｂ、Ｇｇｏ、Ｇｇｅの６種類のフィルタ成分に便宜的に分類する。これらのうち、Ｇｒ、Ｇｂ、Ｇｇｏ、Ｇｇｅは、実際には同じ分光特性のカラーフィルタが使用されるが、デジタル信号処理回路１４内ではそれぞれ個別の成分として処理されることから、以後、このような６種類の画素を個別のフィルタ成分として呼ぶことにする。また、各フィルタ成分の画素には、撮像素子上で先に読み出しが行われる側（図中左側）から水平方向に順に“Ｒ１”“Ｒ２”といったように数値を付して示す。
【００４５】
図４のように、ＣＭＯＳセンサ１２上においては、１行目にはＲとＧｒ、２行目にはＧｇｏとＧｇｅ、３行目にはＧｂとＢ、４行目にはＧｇｏとＧｇｅが、それぞれ交互に配置される。そして、このようなフィルタコーディングを持つ撮像素子からの読み出しのバリエーションの例として、８チャネル、６チャネル、４チャネル、２チャネルの同時読み出しを想定する。
【００４６】
８チャネルの同時読み出し時には、奇数行の画素を先頭から順に出力チャネルＣｈ１，Ｃｈ２，Ｃｈ３，Ｃｈ４に割り当て、偶数行の画素を先頭から順に出力チャネルＣｈ５，Ｃｈ６，Ｃｈ７，Ｃｈ８に割り当てて出力させる。６チャネルの同時読み出し時には、奇数行の画素を先頭から順に出力チャネルＣｈ１，Ｃｈ２，Ｃｈ３に割り当て、偶数行の画素を先頭から順に出力チャネルＣｈ４，Ｃｈ５，Ｃｈ６に割り当てて出力させる。
【００４７】
４チャネルの同時読み出し時には、奇数行の画素を先頭から順に出力チャネルＣｈ１，Ｃｈ２に割り当て、偶数行の画素を先頭から順に出力チャネルＣｈ３，Ｃｈ４に割り当てて出力させる。２チャネルの同時読み出し時には、奇数行の画素を出力チャネルＣｈ１に割り当て、偶数行の画素を出力チャネルＣｈ２に割り当てて出力させる。
【００４８】
図５は、ＡＦＥ回路１３における多重化のバリエーションの例を示す図である。
本実施の形態では、例として、図５（Ａ）および（Ｂ）に示す２種類の多重化方法を想定する。図５（Ａ）に示すＭＵＸタイプＡでは、出力チャネルＣｈ１およびＣｈ２を多重化して多重化信号Ｓｉｇ１を生成し、出力チャネルＣｈ３およびＣｈ４を多重化して多重化信号Ｓｉｇ２を生成し、出力チャネルＣｈ５およびＣｈ６を多重化して多重化信号Ｓｉｇ３を生成し、出力チャネルＣｈ７およびＣｈ８を多重化して多重化信号Ｓｉｇ４を生成する。すなわち、撮像素子上で水平方向に隣接する画素の信号を多重化する。
【００４９】
また、図５（Ｂ）に示すＭＵＸタイプＢでは、出力チャネルＣｈ１およびＣｈ５を多重化して多重化信号Ｓｉｇ１を生成し、出力チャネルＣｈ２およびＣｈ６を多重化して多重化信号Ｓｉｇ２を生成し、出力チャネルＣｈ３およびＣｈ７を多重化して多重化信号Ｓｉｇ３を生成し、出力チャネルＣｈ４およびＣｈ８を多重化して多重化信号Ｓｉｇ４を生成する。すなわち、撮像素子上で垂直方向に隣接する画素の信号を多重化する。
【００５０】
図６は、８チャネル読み出し時における多重化の例を示す図である。なお、ここでは例として、奇数回目の水平同期期間（以下、奇数Ｈ期間と呼ぶ）での色シーケンスを示す。
８チャネルでＡＦＥ回路１３に入力された画素信号をＭＵＸタイプＡで多重化した場合、例えば、ＣＭＯＳセンサ１２から１クロックで同時に読み出された出力チャネルＣｈ１およびＣｈ２のＲ１，Ｇｒ１は、読み出しの２倍の転送クロックに同期して、多重化信号Ｓｉｇ１に順に時分割多重化される。一方、ＭＵＸタイプＢの場合には、ＣＭＯＳセンサ１２から１クロックで同時に読み出された出力チャネルＣｈ１およびＣｈ５のＲ１，Ｇｇｏ１が、多重化信号Ｓｉｇ１に順に時分割多重化される。
【００５１】
以上のような撮像素子からの出力チャネルの割り当てのバリエーションと、ＡＦＥ回路１３での多重化のバリエーションとにより、デジタル信号処理回路１４に入力される画像信号の色シーケンスは、以下で説明するように多様なバリエーションが考えられることになる。さらに、撮像素子上のフィルタコーディングや画素数などが異なれば、さらなる多数の色シーケンスが考えられる。
【００５２】
後段のデジタル信号処理回路１４は、入力される画像信号の色シーケンスを考慮して内部の処理を実行する必要があるが、このデジタル信号処理回路１４を上記のような多数の色シーケンスに対して個別に設計し、製造していては効率が悪い。そこで、本実施の形態のデジタル信号処理回路１４では、多様な色シーケンスにより入力された画像信号を並び替える機能を入力段に設け、この並び替え機能に対して色シーケンスごとにカメラ制御回路１５からパラメータを設定するだけで、内部の回路構成を変えることなく、多様な色シーケンスに対応できるようにする。
【００５３】
図７は、デジタル信号処理回路１４の内部構成を示すブロック図である。
図７に示すように、デジタル信号処理回路１４は、並び替え処理部２１、カメラ信号処理部２２、通信Ｉ／Ｆ２３、およびシグナルジェネレータ（ＳＧ）２４を備える。並び替え処理部２１は、前段回路から前述したような多様な色シーケンスにより入力されるＮ／２チャネル（ここでは４チャネル）の画像信号を、各フィルタ成分が分離するＳチャネルの信号となるように並び替え、カメラ信号処理部２２に供給する。ここでは例として、Ｒ／Ｇｂチャネル、Ｇｒ／Ｂチャネル、Ｇｇｏチャネル、Ｇｇｅチャネルの４チャネルの信号を出力する。
【００５４】
カメラ信号処理部２２は、並び替え処理部２１からの画像信号を基に、従来からの一般的なカメラ信号処理を実行するブロックである。カメラ信号処理としては、例えば、デジタルクランプ、ノイズリダクション、欠陥画素補正、デモザイク、ホワイトバランス調整、解像度変換などの処理が適用される。これらの処理では、カメラ制御回路１５からの制御パラメータに応じて、入力画像信号がＳ（＝４）チャネルごとに並行に処理され、最終的にＹ、Ｃ信号として後段のベースバンド処理系に出力される。
【００５５】
通信Ｉ／Ｆ２３は、デジタル信号処理回路１４内の各ブロックと、カメラ制御回路１５との間のデータ入出力を制御するＩ／Ｆ回路である。カメラ信号処理部２２による検波データは通信Ｉ／Ｆ２３を介してカメラ制御回路１５に供給され、カメラ制御回路１５からは、カメラ信号処理用の制御パラメータが通信Ｉ／Ｆ２３を介してカメラ信号処理部２２に供給される。また、並び替え処理部２１に対しては、並び替え制御用の制御パラメータが、カメラ制御回路１５から通信Ｉ／Ｆ２３を介して供給される。
【００５６】
ＳＧ２４は、並び替え処理部２１およびカメラ信号処理部２２における処理の実行に必要な各種のタイミング信号を生成するブロックであり、例えば、画像信号の水平方向に対する有効期間を示すイネーブル信号Ｈ＿ＥＮなどを出力する。
【００５７】
図８は、並び替え処理部２１による並び替え前および並び替え後の色シーケンスの例を示す図である。ここでは例として、８チャネル読み出し時にＭＵＸタイプＡにより多重化した場合の色シーケンスを示す。
【００５８】
奇数Ｈ期間においては、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１には、ＲおよびＧｒのフィルタ成分が交互に現れる。同様に、多重化信号Ｓｉｇ２〜Ｓｉｇ４にも、異なるフィルタ成分が交互に現れる。並び替え処理部２１は、このような画像信号を並び替えて、図中右側に示すようにＲ、Ｇｒ、Ｇｇｏ、Ｇｇｅのフィルタ成分ごとにチャネルを振り分けて出力する。また、偶数Ｈ期間の場合には、多重化信号Ｓｉｇ１〜Ｓｉｇ４に対する並び替えにより、Ｇｂ、Ｂ、Ｇｇｏ、Ｇｇｅのフィルタ成分ごとに出力チャネルが振り分けられる。これにより、カメラ信号処理部２２では、図中右下に示すカラーフィルタ配列において空間的に隣接する画素の組み合わせ（例えばＲ１，Ｇｇｏ１，Ｇｒ１，Ｇｇｅ１）を、１クロックで並列に処理することが可能となる。
【００５９】
ここで、ＡＦＥ回路１３からの出力信号には、読み出しに従ってある決まったパターンでフィルタ成分が繰り返し出現する。本実施の形態ではＨ期間ごとに同じ繰り返しパターンが現れる。例えば奇数Ｈ期間では、Ｒ，Ｒ，Ｇｇｏ，Ｇｇｏ，Ｇｒ，Ｇｒ，Ｇｇｅ，Ｇｇｅの組み合わせが１つの繰り返しパターンとなる。このような繰り返しパターンの１つに含まれるフィルタ成分の数（ここではＲ，Ｇｇｏ，Ｇｒ，Ｇｇｅの４種、あるいはＧｂ，Ｇｇｏ，Ｂ１，Ｇｇｅの４種）、あるいはその整数倍の数を、並び替え処理部２１の出力チャネル数に一致させることにより、少なくともＨ期間ごとに、デジタル信号処理回路１４に対する出力チャネルをフィルタ成分ごとに振り分けることが可能となる。これによりデジタル信号処理回路１４では、空間的に近い位置に存在する異なるフィルタ成分の信号を並列処理できるようになり、デジタル信号処理回路１４における処理手順およびその回路構成を単純化できる。
【００６０】
次に、並び替え処理部２１の内部構成について詳しく説明する。図９は、並び替え処理部２１の内部構成を示すブロック図である。
並び替え処理部２１は、図９に示すように、イネーブル信号生成部（以下、ＥＮ生成部と呼ぶ）３０、並び替え用メモリ４０、このメモリに対する書き込み制御部５０および読み出し制御部６０を具備する。
【００６１】
ＥＮ生成部３０は、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれについて、ＲまたはＧｂ，ＧｒまたはＢ，Ｇｇｏ，Ｇｇｅの各成分に対応する信号が出現するタイミングを示すイネーブル信号を生成し、書き込み制御部５０に出力する。多重化信号Ｓｉｇ１〜Ｓｉｇ４についてのＲまたはＧｂの出現タイミングはイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１〜Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ４でそれぞれ示される。同様に、ＧｒまたはＢの出現タイミングはイネーブル信号Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１〜Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ４、Ｇｇｏの出現タイミングはイネーブル信号Ｇｇｏ＿ＥＮ＿Ｓｉｇ１〜Ｇｇｏ＿ＥＮ＿Ｓｉｇ４、Ｇｇｅの出現タイミングはイネーブル信号Ｇｇｅ＿ＥＮ＿Ｓｉｇ１〜Ｇｇｅ＿ＥＮ＿Ｓｉｇ４で示される。
【００６２】
ＥＮ生成部３０は、これらのイネーブル信号を、ＳＧ２４からのイネーブル信号Ｈ＿ＥＮがＨレベルとなる水平有効期間において、カメラ制御回路１５から指定される制御パラメータ（ＥＮ生成パラメータ）に応じて設定する。これとともに、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４を、イネーブル信号の生成に合わせて遅延させ、書き込み制御部５０に出力する。
【００６３】
並び替え用メモリ４０は、例えば、書き込み／読み出しを並行して実行可能なデュアルポート（Dual Port）型のＳＲＡＭ（Static RAM）からなる。この並び替え用メモリ４０の記憶領域は、Ｇ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分ごとの領域に分割されている。
【００６４】
書き込み制御部５０は、ＥＮ生成部３０からのイネーブル信号に基づいて、ＥＮ生成部３０を介して入力された多重化信号Ｓｉｇ１〜Ｓｉｇ４を並び替え、フィルタ成分ごとに並び替えられた信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを生成する。また、出力チャネルごとの書き込みイネーブル信号ＷＥＮ＿Ｒ＿Ｇｂ，ＷＥＮ＿Ｇｒ＿Ｂ，ＷＥＮ＿Ｇｇｏ，ＷＥＮ＿Ｇｇｅと、書き込みアドレスＷＡＤＲＳ＿Ｒ＿Ｇｂ，ＷＡＤＲＳ＿Ｇｒ＿Ｂ，ＷＡＤＲＳ＿Ｇｇｏ，ＷＡＤＲＳ＿Ｇｇｅを生成して並び替え用メモリ４０に出力し、信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを、対応するフィルタ成分の記憶領域に書き込む。
【００６５】
読み出し制御部６０は、読み出しイネーブル信号ＲＥＮ＿Ｒ＿Ｇｂ，ＲＥＮ＿Ｇｒ＿Ｂ，ＲＥＮ＿Ｇｇｏ，ＲＥＮ＿Ｇｇｅと、読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅを、並び替え用メモリ４０に出力して、フィルタ成分ごとに分離された信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ，Ｓｉｇ＿Ｇｇｅを、カメラ信号処理部２２に読み出す。
【００６６】
以上の並び替え処理部２１では、入力された複数チャネルの画像信号をフィルタ成分ごとに振り分けて並び替え用メモリ４０に記憶させ、そのメモリの読み出し・書き込みのアドレスやタイミングを制御することで、後段のカメラ信号処理部２２で必要とされる常に一定なシーケンスの画像信号を生成することが可能となっている。
【００６７】
図１０は、ＥＮ生成部３０の内部構成を示すブロック図である。
ＥＮ生成部３０は、図１０に示すように、カウンタ３１、フラグ生成デコーダ３２、フィルタ成分別のセレクタ群３３ａ〜３３ｄ、およびディレイ調整部３４を具備する。
【００６８】
カウンタ３１は、イネーブル信号Ｈ＿ＥＮがＨレベルとなる水平有効期間において、ピクセルＩＤを生成してセレクタ群３３ａ〜３３ｄに供給する。ピクセルＩＤは、多重化信号Ｓｉｇ１〜Ｓｉｇ４の画素の入力タイミングごとに割り当てられる識別番号であり、本実施の形態では“０”〜“３”の４値が繰り返される。すなわち、カウンタ３１は、水平有効期間の開始時に“０”を起点にカウントアップを開始し、水平有効期間の終了までの間、多重化信号Ｓｉｇ１〜Ｓｉｇ４の画素クロックに同期して“０”〜“３”までのカウントアップを繰り返す。
【００６９】
ここで、ピクセルＩＤの繰り返し数は、多重化信号Ｓｉｇ１〜Ｓｉｇ４のそれぞれにおけるフィルタ成分の繰り返し数から決定する。本実施の形態では、後の図１１〜図１７に示すように、フィルタ成分の繰り返し数が“２”または“４”となるため、ピクセルＩＤの繰り返し数を“４”としている。フィルタ成分の繰り返し数の異なる色シーケンスに対応できるようにするためには、それらの繰り返し数の共通の倍数をピクセルＩＤの繰り返し数とすればよい。あるいは、カメラ制御回路１５からの設定により、色シーケンスごとにカウンタ３１における繰り返し数を可変する構成としてもよい。
【００７０】
フラグ生成デコーダ３２は、カメラ制御回路１５からのＥＮ生成パラメータに基づき、セレクタ群３３ａ〜３３ｄに対して、多重化信号Ｓｉｇ１〜Ｓｉｇ４のチャネルごと、かつピクセルＩＤごとのＯＮ／ＯＦＦフラグを出力する。ＯＮ／ＯＦＦフラグは、対応するフィルタ成分が現れる場合にＨレベルとされる。
【００７１】
ここで、ＥＮ生成パラメータは、多重化信号Ｓｉｇ１〜Ｓｉｇ４におけるフィルタ成分を示す情報である。上述したように、多重化信号Ｓｉｇ１〜Ｓｉｇ４におけるフィルタ成分の繰り返し数がピクセルＩＤの繰り返し数に対応しているため、ＥＮ生成パラメータには、各信号のフィルタ成分を示す情報がピクセルＩＤの数だけ含まれる。
【００７２】
フラグ生成デコーダ３２は、ＥＮ生成パラメータをデコードして、１つのフィルタ成分の出現の有無を示すＯＮ／ＯＦＦフラグをピクセルＩＤ別に生成し、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分ごとにそれぞれセレクタ群３３ａ〜３３ｄに供給する。なお、カメラ制御回路１５からのＥＮ生成パラメータにより、各セレクタ群３３ａ〜３３ｄへのＯＮ／ＯＦＦフラグを多重化信号Ｓｉｇ１〜Ｓｉｇ４の色シーケンスに応じて設定することができれば、フラグ生成デコーダ３２の構成はどのようなものであってもよい。例えば、ＯＮ／ＯＦＦフラグをカメラ制御回路１５から直接制御できるようにしてもよい。
【００７３】
セレクタ群３３ａ〜３３ｄには、それぞれ４つのセレクタＳＥＬ０〜ＳＥＬ３が設けられている。各セレクタＳＥＬ０〜ＳＥＬ３は、同じフィルタ成分かつ同じ信号チャネル（多重化信号Ｓｉｇ１〜Ｓｉｇ４のいずれか）に対応するＯＮ／ＯＦＦフラグをピクセルＩＤ分だけ個別に受信し、カウンタ３１からのピクセルＩＤに対応する入力信号を選択して出力する。
【００７４】
これにより、例えばセレクタ群３３ａのセレクタＳＥＬ０から出力されるイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１は、多重化信号Ｓｉｇ１におけるピクセルＩＤのタイミングごとのＲ／Ｇｂ成分の出現の有無を示すことになる。同様に、セレクタＳＥＬ１〜ＳＥＬ３からのイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ２〜Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ４は、それぞれ多重化信号Ｓｉｇ２〜Ｓｉｇ４におけるピクセルＩＤのタイミングごとのＲ／Ｇｂ成分の出現の有無を示すことになる。さらに同様のＧｒ／Ｂ，Ｇｇｏ，Ｇｇｅの成分の有無を示すイネーブル信号が、それぞれセレクタ群３３ｂ〜３３ｄから出力される。
【００７５】
ディレイ調整部３４は、各セレクタ群３３ａ〜３３ｄから出力されるイネーブル信号が、多重化信号Ｓｉｇ１〜Ｓｉｇ４中の対応する画素の出力タイミングと一致するように、ＡＦＥ回路１３からの多重化信号Ｓｉｇ１〜Ｓｉｇ４を遅延させる。
【００７６】
以下、図１１〜図１７に、色シーケンスのバリエーションに応じた、ＥＮ生成部３０から出力されるイネーブル信号の具体例を示す。なお、これらの図では、説明を簡単にするために、水平有効期間内の画素数をすべて同じとしているが、実際にはその画素数に制限はない。
【００７７】
図１１および図１２は、撮像素子の読み出しチャネル数がともに“８”で、ＭＵＸタイプＡおよびＢの場合の色シーケンスおよびイネーブル信号をそれぞれ示す図である。
図１１において、例えば多重化信号Ｓｉｇ１には、ピクセルＩＤが“０”および“２”のときにＲ（奇数Ｈ期間）またはＧｂ（偶数Ｈ期間）が現れ、ピクセルＩＤが“１”および“３”のときにＧｒ（奇数Ｈ期間）またはＢ（偶数Ｈ期間）が現れている。従って、イネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１はピクセルＩＤが“０”および“２”のときＨレベルとなり、イネーブル信号Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１はピクセルＩＤが“１”および“３”のときＨレベルとなる。また、多重化信号Ｓｉｇ１にはＧｇｏおよびＧｇｅの成分は現れないので、イネーブル信号Ｇｇｏ＿ＥＮ＿Ｓｉｇ１およびＧｇｅ＿ＥＮ＿Ｓｉｇ１は常にＬレベルとなる。
【００７８】
一方、ＭＵＸタイプの異なる図１２の場合、多重化信号Ｓｉｇ１には、ピクセルＩＤが“０”および“２”のときにＲ（奇数Ｈ期間）またはＧｂ（偶数Ｈ期間）が現れるのは同じであるが、ピクセルＩＤが“１”および“３”のときにはＧｇｏが現れ、ＧｒおよびＧｇｅの成分は現れない。従って、イネーブル信号Ｇｇｏ＿ＥＮ＿Ｓｉｇ１はピクセルＩＤが“１”および“３”のときＨレベルとなり、イネーブル信号Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１およびＧｇｅ＿ＥＮ＿Ｓｉｇ１は常にＬレベルとなる。
【００７９】
図１３および図１４は、撮像素子の読み出しチャネル数がともに“６”で、ＭＵＸタイプＡおよびＢの場合の色シーケンスおよびイネーブル信号をそれぞれ示す図である。
図１３および図１４に示すように、６チャネル読み出しの場合には、多重化後の画像信号は３チャネルとなり、多重化信号Ｓｉｇ４には画像信号が伝送されない。
【００８０】
図１３の場合、多重化信号Ｓｉｇ１には、奇数Ｈ期間にはＲおよびＧｒの２成分が２画素ごとに現れ、偶数Ｈ期間にはＧｂおよびＢの２成分が２画素ごとに現れている。また、多重化信号Ｓｉｇ２には、Ｒ，Ｇｇｏ，Ｇｒ，Ｇｇｅの４成分（奇数Ｈ期間の場合）が繰り返し現れているため、多重化信号Ｓｉｇ２に対応するイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ２，Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ２，Ｇｇｏ＿ＥＮ＿Ｓｉｇ２，Ｇｇｅ＿ＥＮ＿Ｓｉｇ２は、すべて４画素に１回ずつＨレベルとなっている。
【００８１】
一方、ＭＵＸタイプの異なる図１４の場合、多重化信号Ｓｉｇ１〜Ｓｉｇ３のすべてにおいて、Ｒ，Ｇｇｏ，Ｇｒ，Ｇｇｅの４成分（奇数Ｈ期間の場合）が繰り返し現れており、これらに対応するイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１〜Ｓｉｇ３，Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１〜Ｓｉｇ３，Ｇｇｏ＿ＥＮ＿Ｓｉｇ１〜Ｓｉｇ３，Ｇｇｅ＿ＥＮ＿Ｓｉｇ１〜Ｓｉｇ３は、すべて４画素に１回ずつＨレベルとなっている。
【００８２】
図１５および図１６は、撮像素子の読み出しチャネル数がともに“４”で、ＭＵＸタイプＡおよびＢの場合の色シーケンスおよびイネーブル信号をそれぞれ示す図である。
図１５および図１６に示すように、４チャネル読み出しの場合には、多重化後の画像信号は２チャネルとなり、多重化信号Ｓｉｇ３およびＳｉｇ４には画像信号が伝送されない。また、４チャネル読み出しの場合には、ＭＵＸタイプＡおよびＢの双方とも、多重化信号Ｓｉｇ１およびＳｉｇ２のそれぞれには２成分が交互に現れるが、そのフィルタ成分の組み合わせがＭＵＸタイプごとに異なる。
【００８３】
図１７は、撮像素子の読み出しチャネル数が“２”の場合の色シーケンスおよびイネーブル信号をそれぞれ示す図である。
図１７に示すように、２チャネル読み出しの場合には、多重化後の画像信号は１チャネルのみに伝送されるので、当然、ＭＵＸタイプに関係なく、４つのフィルタ成分が同じ順で繰り返し現れる。
【００８４】
以上の図１１〜図１７に示したように、撮像素子の読み出しチャネル数と多重化方法との組み合わせにより、多重化信号Ｓｉｇ１〜Ｓｉｇ４の色シーケンスは多種のものとなる。ＥＮ生成部３０では、上記の回路構成とすることにより、このような多種の色シーケンスに対応するＥＮ生成パラメータを設定して、フィルタ成分別の出現タイミングを示すパルス信号（イネーブル信号）を自在に出力することが可能となっている。
【００８５】
図１８は、書き込み制御部５０の内部構成を示すブロック図である。
書き込み制御部５０は、図１８に示すように、多重化信号Ｓｉｇ１〜Ｓｉｇ４にそれぞれ対応するディレイ調整部５１ａ〜５１ｄと、多重化信号Ｓｉｇ１〜Ｓｉｇ４をフィルタ成分ごとに振り分ける信号振り分け部５２と、信号振り分け部５２への入力信号のディレイ量を調整するディレイ調整部５３と、並び替え用メモリ４０に対する書き込みアドレスを生成するデコーダ５４を具備する。
【００８６】
ディレイ調整部５１ａには、多重化信号Ｓｉｇ１と、この信号に対応するイネーブル信号Ｒ＿Ｇｂ＿ＥＮ＿Ｓｉｇ１，Ｇｒ＿Ｂ＿ＥＮ＿Ｓｉｇ１，Ｇｇｏ＿ＥＮ＿Ｓｉｇ１，Ｇｇｅ＿ＥＮ＿Ｓｉｇ１とが、ＥＮ生成部３０から入力される。同様に、ディレイ調整部５１ｂ〜５１ｄには、それぞれ多重化信号Ｓｉｇ２〜Ｓｉｇ４と、それぞれに対応するイネーブル信号とが、ＥＮ生成部３０から入力される。
【００８７】
ディレイ調整部５１ａ〜５１ｄは、カメラ制御回路１５からの制御パラメータである並び替えパラメータに応じて、入力信号をそれぞれ一律の時間だけ遅延させる。これらの内部は、例えば、複数のフリップフロップ（ＦＦ）回路を直列に接続し、並び替えパラメータに応じて各段のＦＦ回路の出力を選択できる構成となっている。これらのディレイ調整部５１ａ〜５１ｄは、多重化信号Ｓｉｇ１〜Ｓｉｇ４に同じタイミングで同じフィルタ成分が出現したときに、一方の信号を遅延させてずらすことで、並び替え用メモリ４０に同じフィルタ成分の信号を連続的に書き込むことができるようにする。
【００８８】
信号振り分け部５２は、各ディレイ調整部５１ａ〜５１ｄでのディレイ調整後、さらにディレイ調整部５３を介して入力された多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊを、デコーダ５４からの選択信号に応じて、フィルタ成分ごとに振り分けられた信号Ｓｉｇ＿Ｒ＿Ｇｂ，Ｓｉｇ＿Ｇｒ＿Ｂ，Ｓｉｇ＿Ｇｇｏ＿Ｓｉｇ＿Ｇｇｅを、並び替え用メモリ４０に出力する。ディレイ調整部５３は、多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊを所定量だけ遅延させて、信号振り分け部５２とデコーダ５４とを正しく同期させる。
【００８９】
デコーダ５４は、ディレイ調整部５１ａ〜５１ｄから出力された遅延調整後のイネーブル信号を基に、信号振り分け部５２に対する選択信号や、選択された信号を並び替え用メモリ４０に書き込むためのアドレスおよびイネーブル信号を生成する。
【００９０】
図１９は、信号振り分け部５２の内部構成を示すブロック図である。
信号振り分け部５２は、図１９に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分に対応するセレクタ５２１〜５２４を備えている。各セレクタ５２１〜５２４には多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊが入力され、デコーダ５４からの選択信号ＳＥＬ＿Ｒ＿Ｇｂ，ＳＥＬ＿Ｇｒ＿Ｂ，ＳＥＬ＿Ｇｇｏ，ＳＥＬ＿Ｇｇｅに応じて、いずれか１つの信号を選択して出力する。
【００９１】
ここで、図１９において各セレクタ５２１〜５２４の入力段に記載された４種の数値“１”“２”“４”“８”は、デコーダ５４に入力されるイネーブル信号に基づくビット列の数値（十進数表記）を示している。デコーダ５４は、後述するように、入力されるイネーブル信号に基づき、これらの数値に対応する入力チャネルを選択させ、これによりセレクタ５２１〜５２４からは、それぞれに対応するフィルタ成分の信号のみが出力される。
【００９２】
なお、入力される多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊは、ディレイ調整部５１ａ〜５１ｄにより同じタイミングで同じフィルタ成分が入力されないように調整されているので、信号振り分け部５２では、単に入力信号を選択することで、すべてのフィルタ成分の信号を取りこぼすことなく、出力チャネルに振り分けることができる。
【００９３】
図２０は、デコーダ５４の内部構成を示すブロック図である。
デコーダ５４は、図２０に示すように、Ｒ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各フィルタ成分に対応する選択信号デコーダ５４１ａ〜５４１ｄ、ＯＲゲート５４２ａ〜５４２ｄ、インバータ５４３ａ〜５４３ｄ、カウンタ５４４ａ〜５４４ｄを備えている。
【００９４】
選択信号デコーダ５４１ａ〜５４１ｄは、ディレイ調整部５１ａ〜５１ｄからの各フィルタ成分に対応するイネーブル信号をビット列に見立て、そのビット列が示す数値に対応する入力チャネルが信号振り分け部５２において選択されるように選択信号ＳＥＬ＿Ｒ＿Ｇｂ，ＳＥＬ＿Ｇｒ＿Ｂ，ＳＥＬ＿Ｇｇｏ，ＳＥＬ＿Ｇｇｅを出力する。この選択信号のデコード処理については、後の図２１および図２２において具体的に説明する。
【００９５】
ＯＲゲート５４２ａ〜５４２ｄは、それぞれＲ／Ｇｂ，Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅのフィルタ成分の信号に対応するディレイ調整部５１ａ〜５１ｄからのイネーブル信号が入力される。ＯＲゲート５４２ａの出力パルスはインバータ５４３ａおよびカウンタ５４４ａに入力され、インバータ５４３ａの出力が、並び替え用メモリ４０のＲ／Ｇｂ用領域に対する書き込みのイネーブル信号ＸＷＥＮ＿Ｒ＿Ｇｂ（ただし、ここではＬレベルのときに書き込み可とする）となる。また、カウンタ５４４ａはＯＲゲート５４２ａの出力パルスをカウントし、そのカウント値が並び替え用メモリ４０のＲ／Ｇｂ用領域に対する書き込みアドレスとなる。他のフィルタ成分に対応する回路も同様であり、ＯＲゲート５４２ｂ〜５４２ｄの出力パルスがインバータ５４３ｂ〜５４３ｄおよびカウンタ５４４ｂ〜５４４ｄにそれぞれ入力され、これにより並び替え用メモリ４０のＧｒ／Ｂ用、Ｇｇｏ用、Ｇｇｅ用の各領域に対する書き込みのイネーブル信号およびアドレスが生成される。
【００９６】
ここで、以下の図２１および図２２に、遅延調整後のイネーブル信号の具体例を示し、それぞれの場合における選択信号デコーダ５４１ａ〜５４１ｄの動作について説明する。図２１は、撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。
【００９７】
この場合には、図１１で示したように、多重化信号Ｓｉｇ１およびＳｉｇ２の間と、多重化信号Ｓｉｇ３およびＳｉｇ４の間で、同じフィルタ成分の信号が現れる。このため、図２１の例では、ディレイ調整部５１ｂおよび５１ｄにより、多重化信号Ｓｉｇ２およびＳｉｇ４を１クロック分遅延させている。
【００９８】
ここで、遅延調整後のイネーブル信号を、多重化信号Ｓｉｇ１からＳｉｇ４の方向に下位から上位に対してフィルタ成分別に割り当てたビット列を考える。例えば、図２１において多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊにそれぞれＲ，Ｇｒ，Ｇｇｏ，Ｇｇｅ（あるいは、Ｇｂ，Ｂ，Ｇｇｏ，Ｇｇｅ）が現れるタイミングでは、Ｒ／Ｇｂ成分については“０００１”、Ｇｒ／Ｂ成分については“００００”、Ｇｇｏ成分については“０１００”、Ｇｇｅ成分については“００００”となる。図２１の下段には、これらのビット列の数値を十進数表記で示してある。
【００９９】
多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊは、同じタイミングでは同じフィルタ成分を含まないので、上記のビット列がとり得る値は十進数表記で“０”“１”“２”“４”“８”の５種類である。また、ビット列には多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ４＿ａｄｊの各入力チャネルが下位から順に割り当てられているので、ビットの立っているチャネルに対応するフィルタ成分が出現していることがわかる。
【０１００】
従って、選択信号デコーダ５４１ａ〜５４１ｄは、入力されたイネーブル信号に基づくビット列の数値が“１”のとき、多重化信号Ｓｉｇ１＿ａｄｊを選択し、“２”のときＳｉｇ２＿ａｄｊを選択し、“４”のときＳｉｇ３＿ａｄｊを選択し、“８”のときＳｉｇ４＿ａｄｊを選択するように指示する選択信号を生成して、信号振り分け部５２に出力する。また、ビット列の数値が“０”のときはどの入力チャネルも選択させないようにする。
【０１０１】
上記例のＲ，Ｇｒ，Ｇｇｏ，Ｇｇｅ（あるいは、Ｇｂ，Ｂ，Ｇｇｏ，Ｇｇｅ）が現れるタイミングでは、Ｒ／Ｇｂ、Ｇｒ／Ｂ，Ｇｇｏ，Ｇｇｅの各成分についてのビット列は“１”“２”“４”“８”となるので、信号振り分け部５２のセレクタ５２１には多重化信号Ｓｉｇ１＿ａｄｊを、セレクタ５２２にはＳｉｇ２＿ａｄｊを、セレクタ５２３にはＳｉｇ３＿ａｄｊを、セレクタ５２４にはＳｉｇ４＿ａｄｊを、それぞれ選択させるように制御する。
【０１０２】
また、他の例として、撮像素子の読み出しチャネルが“６”の場合について説明する。図２２は、撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。
【０１０３】
この場合には、同じフィルタ成分が同時に現れないようにするために、ディレイ調整部５１ｂで１クロック分、ディレイ調整部５１ｃで２クロック分の遅延量がそれぞれ設定される。遅延調整後の多重化信号Ｓｉｇ１＿ａｄｊ〜Ｓｉｇ３＿ａｄｊにおいて、例えばそれぞれにＲ，Ｇｒ，Ｇｇｏの成分が現れるタイミングでは、各フィルタ成分に対応するイネーブル信号に基づくビット列は、“１０００”“０１００”“００１０”“００００”となる。従って、選択信号デコーダ５４１ａ〜５４１ｄからの選択信号により、信号振り分け部５２のセレクタ５２１は多重化信号Ｓｉｇ１＿ａｄｊを、セレクタ５２２はＳｉｇ３＿ａｄｊを、セレクタ５２３はＳｉｇ２＿ａｄｊを選択し、セレクタ５２４はどの入力信号も選択しない。
【０１０４】
以上のように、選択信号デコーダ５４１ａ〜５４１ｄは、入力されたイネーブル信号を基にした上記のような簡単なデコード処理により、信号振り分け部５２において画像信号をフィルタ成分ごとに個別のチャネルから出力させて、並び替え用メモリ４０内のフィルタ別の記憶領域に記録させることができる。
【０１０５】
ここで、以下の図２３〜図２９に、上記処理による並び替え前および並び替え後の画像信号の配列を、色シーケンス別に具体的に示す。図２３および図２４は、撮像素子の読み出しチャネル数がともに“８”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列をそれぞれ示す図である。図２５および図２６は、撮像素子の読み出しチャネル数がともに“６”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列をそれぞれ示す図である。図２７および図２８は、撮像素子の読み出しチャネル数がともに“４”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列をそれぞれ示す図である。図２９は、撮像素子の読み出しチャネル数が“２”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列を示す図である。
【０１０６】
図２３〜図２９に示すように、上記構成の書き込み制御部５０により、撮像素子の読み出しチャネルや多重化の手法に関係なく、入力画像信号をフィルタ成分別に振り分けて、並び替え用メモリ４０内の対応領域に書き込むことができる。例えば、撮像素子の出力チャネル数Ｎと、デジタル信号処理回路１４において並列処理される画素信号のフィルタ成分の数（この実施の形態では、Ｒ，Ｇｒ，Ｇｇｏ，Ｇｇｅの４つ、またはＧｂ，Ｂ，Ｇｇｏ，Ｇｇｅの４つ）とが一致しない場合、具体的には、例えば図２５，図２６のような６チャネル読み出しの場合などには、多重化後の１チャネルに３種類以上のフィルタ成分が伝送されることがあるが、このような場合にも、フィルタ成分ごとに振り分けることができる。
【０１０７】
ところで、書き込み制御部５０から出力される信号は、上記のようにフィルタ成分別に個別のチャネルから出力されているが、このままでは、各フィルタ成分の信号が、デジタル信号処理回路１４での並列処理に適したタイミングで出力されている訳ではない。例えば、図２４において、奇数Ｈ期間における並び替え後の信号にＲ２，Ｇｒ２，Ｇｇｏ１，Ｇｇｅ１が同時に出力されるタイミングがあるが、これらの画素は、図４からわかるように、撮像素子上の空間位相が異なる画素を含むので、デジタル信号処理回路１４で同時に処理されるべき画素ではない。また、多重化信号のチャネル数がフィルタ成分の種類より少ない場合（図２５〜図２９の場合）には、当然、デジタル信号処理回路１４で必要なすべてのフィルタ成分の信号が同時に出力されることはない。
【０１０８】
このような出力タイミングのずれを吸収して揃えるために、並び替え後の信号を並び替え用メモリ４０を介して出力するようにしている。書き込み制御部５０から出力された各フィルタ成分の画像信号は、その出力タイミングに関係なく、並び替え用メモリ４０に隙間を開けることなく順次格納されていき、書き込み制御部５０により生成された並び替え用メモリ４０の書き込みアドレスと空間位相との関係は一致している。このため、並び替え用メモリ４０に一旦蓄積した後は、アドレスの小さい順に読み出すことで、すべてのチャネルの出力タイミングを揃えることができる。
【０１０９】
図３０は、読み出し制御部６０の内部構成を示すブロック図である。
図３０に示す読み出し制御部６０は、読み出しアドレス出力するカウンタ６１と、読み出しのイネーブル信号の出力タイミングを合わせるためのディレイ調整部６２とを具備する。カウンタ６１は、イネーブル信号Ｈ＿ＥＮがＨレベルとなる水平有効期間において画素クロックを昇順にカウントし、水平有効期間の終了時にカウント値をリセットする。カウント値は、フィルタ成分ごとの記憶領域に対する読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅとして、並び替え用メモリ４０に出力される。また、ディレイ調整部６２の遅延量はカウンタ６１の動作遅延に応じて設定され、遅延調整されたイネーブル信号Ｈ＿ＥＮが、各記憶領域での読み出し許可を示すイネーブル信号ＲＥＮ＿Ｒ＿Ｇｂ，ＲＥＮ＿Ｇｒ＿Ｂ，ＲＥＮ＿Ｇｇｏ，ＲＥＮ＿Ｇｇｅとして、並び替え用メモリ４０に出力される。
【０１１０】
以上のような単純な構成の読み出し制御部６０を用いることで、フィルタ成分ごとに並び替えられた画像信号を正しいタイミングで出力することができる。すなわち、撮像素子上の空間位置が正しい組み合わせとなるように、各フィルタ成分の信号が出力されるようになる。従って、このような画像信号を受信したデジタル信号処理回路１４は、ＡＦＥ回路１３からの出力される画像信号の色シーケンスに関係なく、常に同じ手順で入力画像信号を処理することができる。
【０１１１】
ところで、以上の実施の形態で示した色シーケンスは、撮像素子上の画素信号が空間的に左側の画素から先に出力されるものであった。しかし、実際には、必ずしもこのような条件が成立しない場合もある。例えば、撮像素子上で隣接している同じフィルタ成分の画素の信号を加算して同時に出力することによって、出力画素数を間引き、読み出し周波数を高めることなく、より高速な画面レートで画像信号を出力する機能を備えている場合などには、並び替え用メモリ４０に出力される画像信号が、Ｒ２，Ｒ１，Ｒ４，Ｒ３……といったように、水平方向の順番通りにならない場合がある。このような場合には、空間的に左側の画素の信号が、並び替え用メモリ４０上のアドレスの小さい方にあるとは限らないことになり、アドレス順に読み出すとデジタル信号処理回路１４において正しい処理ができなくなってしまう。以下の図３１には、このような場合にも対応可能な読み出し制御部６０の構成を示す。
【０１１２】
図３１は、別の実施の形態に係る読み出し制御部６０の内部構成を示すブロック図である。
図３１に示す読み出し制御部６０は、読み出しアドレスを生成するためのフィルタ成分別のカウンタ６３ａ〜６３ｄと、読み出しのイネーブル信号の出力タイミングをカウンタ６３ａ〜６３ｄのタイミングに合わせるためのディレイ調整部６４とを具備する。
【０１１３】
カウンタ６３ａ〜６３ｄは、図３０の場合と同様にそれぞれ水平有効期間内に画素クロックをカウントするものであり、それぞれのカウント値が、対応するフィルタ成分用の記憶領域からの読み出しアドレスＲＡＤＲＳ＿Ｒ＿Ｇｂ，ＲＡＤＲＳ＿Ｇｒ＿Ｂ，ＲＡＤＲＳ＿Ｇｇｏ，ＲＡＤＲＳ＿Ｇｇｅとなる。これらのカウンタ６３ａ〜６３ｄは、カメラ制御回路１５からの設定により、それぞれのカウント動作を個別に制御できるようになっている。上記のように、水平方向の順番通りに出力されない色シーケンスであっても、通常は出力信号の空間位置に規則性があるため、そのような規則性に応じたカウント動作を各カウンタ６３ａ〜６３ｄに実行させる。
【０１１４】
例えば、Ｂ成分について、並び替え用メモリ４０に対してＢ２，Ｂ１，Ｂ４，Ｂ３……のように書き込まれる場合には、Ｂ成分に対応するカウンタ６３ｂが、水平有効期間の開始時から１，０，３，２……のようなカウントを行うようにする。規則性のあるカウント動作を実行するカウンタであれば実装も容易であり、カウンタ６３ａ〜６３ｄのそれぞれに複数種類のカウント動作を切り替えて実行できるようにしておくことで、対応可能な色シーケンスのバリエーションを一層増やすことができる。
【０１１５】
以上説明したように、上記の実施の形態のデジタル信号処理回路１４では、カメラ信号処理部２２に対する画像信号の入力段に並び替え処理部２１を設けたことにより、常に同じ規則により画像信号をカメラ信号処理部２２に入力させることが可能となる。このため、カメラ信号処理部２２での処理手順や回路構成を複雑にしたり、その回路規模を増大させることなく、多様な色シーケンスに対応できるようになる。特に、並び替え処理部２１の出力チャネル数を、カメラ信号処理部２２で並列処理されるフィルタ成分の種類の数、またはその整数倍とすることで、カメラ信号処理部２２の構成、特にノイズリダクションや欠陥画素補正など、撮像素子上の空間位置を考慮して動作する処理ブロックの構成を単純化することができる。
【０１１６】
また、並び替え処理部２１は、入力画像信号の色シーケンスに応じて制御パラメータを設定するだけで、その回路構成を変更することなく、多様な色シーケンスに対応することができる。このため、デジタル信号処理回路１４にそれらの多様な色シーケンスのそれぞれに対応する処理回路を設けた場合と比較して、大幅に回路規模を縮小できる。
【０１１７】
従って、撮像素子からの読み出しチャネル数や、多チャネルで読み出された信号の多重化の方法、画素数の間引き方法、画素数、フィルタコーディングなどに対する組み合わせの自由度の高い、汎用性の高いデジタル信号処理回路１４を実現することができ、将来の仕様変更時や製品バリエーションの拡張時における開発・製造コストを抑制できる。
【０１１８】
なお、以上の実施の形態では、図２に示したフィルタコーディングを用いた場合について説明したが、本発明はそれ以外のフィルタコーディングを用いた撮像装置に適用することもできる。
【０１１９】
図３２は、他のフィルタコーディングの例としてベイヤ配列を用いた撮像装置におけるデジタル信号処理回路の構成を示すブロック図である。
ベイヤ配列の場合、一般的には、図３２に示すように、カメラ信号処理部２２は、奇数Ｈ期間、偶数Ｈ期間ともにＲ，Ｇｒ，Ｇｂ，Ｂの４種類のフィルタ成分を並行に処理することが多い。このような場合でも、上記と同様の構成の並び替え処理部２１を用いることで、撮像素子の読み出しチャネル数や画素数、多重化の方法などの組み合わせに関係なく、カメラ信号処理部２２に合わせて４つの出力チャネルのそれぞれから常時、上記の４種類のフィルタ成分の画像信号を出力することができる。なお、カメラ信号処理部２２としては、ベイヤ配列や図２に示したフィルタコーディングなど、異なるフィルタコーディングの撮像素子を用いて撮像された画像信号を、例えばカメラ制御回路１５からの設定により共通の回路構成で処理することもでき、そのような場合はさらに汎用性の高いデジタル信号処理回路１４を実現できる。
【０１２０】
なお、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。また、撮像装置用の信号処理回路のみならず、特定のデータ配列を複数チャネルを通じて受け付けて処理する処理回路において、その入力データのシーケンスが多数想定されるような場合に、本発明を適用することができる。
【０１２１】
また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（上記の並び替え処理部２１などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。
【０１２２】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１２３】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【０１２４】
【図１】本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】ＣＭＯＳセンサにおけるカラーフィルタの配列を示す図である。
【図３】ＣＭＯＳセンサからの多チャネル読み出しとその信号の多重化のための構成を示す図である。
【図４】ＣＭＯＳセンサ上の画素位置に対する出力チャネルの割り当ての例を示す図である。
【図５】ＡＦＥ回路における多重化のバリエーションの例を示す図である。
【図６】８チャネル読み出し時における多重化の例を示す図である。
【図７】デジタル信号処理回路の内部構成を示すブロック図である。
【図８】並び替え処理部による並び替え前および並び替え後の色シーケンスの例を示す図である。
【図９】並び替え処理部の内部構成を示すブロック図である。
【図１０】ＥＮ生成部の内部構成を示すブロック図である。
【図１１】撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。
【図１２】撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＢの場合の色シーケンスおよびイネーブル信号を示す図である。
【図１３】撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。
【図１４】撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＢの場合の色シーケンスおよびイネーブル信号を示す図である。
【図１５】撮像素子の読み出しチャネル数が“４”で、ＭＵＸタイプＡの場合の色シーケンスおよびイネーブル信号を示す図である。
【図１６】撮像素子の読み出しチャネル数が“４”で、ＭＵＸタイプＢの場合の色シーケンスおよびイネーブル信号を示す図である。
【図１７】撮像素子の読み出しチャネル数が“２”の場合の色シーケンスおよびイネーブル信号をそれぞれ示す図である。
【図１８】書き込み制御部の内部構成を示すブロック図である。
【図１９】信号振り分け部の内部構成を示すブロック図である。
【図２０】書き込み制御部のデコーダの内部構成を示すブロック図である。
【図２１】撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。
【図２２】撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の選択信号のデコード動作を説明するための図である。
【図２３】撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＡの場合の画像信号配列を示す図である。
【図２４】撮像素子の読み出しチャネル数が“８”で、ＭＵＸタイプＢの場合の画像信号配列を示す図である。
【図２５】撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＡの場合の画像信号配列を示す図である。
【図２６】撮像素子の読み出しチャネル数が“６”で、ＭＵＸタイプＢの場合の画像信号配列を示す図である。
【図２７】撮像素子の読み出しチャネル数が“４”で、ＭＵＸタイプＡの場合の画像信号配列を示す図である。
【図２８】撮像素子の読み出しチャネル数が“４”で、ＭＵＸタイプＢの場合の画像信号配列を示す図である。
【図２９】撮像素子の読み出しチャネル数が“２”で、ＭＵＸタイプＡおよびＢの場合の画像信号配列を示す図である。
【図３０】読み出し制御部の内部構成を示すブロック図である。
【図３１】別の実施の形態に係る読み出し制御部の内部構成を示すブロック図である。
【図３２】ベイヤ配列を用いた撮像装置におけるデジタル信号処理回路の構成を示すブロック図である。
【図３３】１チャネル出力型の撮像素子を用いた従来の撮像装置の要部構成例を示すブロック図である。
【図３４】ベイヤ配列の撮像素子の画素信号を１つの出力チャネルから出力した場合の色シーケンスを説明する図である。
【図３５】画素信号を２チャネルで読み出した場合の色シーケンスを説明する図である。
【図３６】画素信号を３チャネルで読み出した場合の色シーケンスを説明する図である。
【図３７】画素信号を４チャネルで読み出した場合の色シーケンスを説明する図である。
【図３８】２ラインの画素信号を２チャネルで読み出した場合の色シーケンスを説明する図である。
【図３９】２ラインの画素信号を４チャネルで読み出した場合の色シーケンスを説明する図である。
【図４０】２ラインの画素信号を６チャネルで読み出した場合の色シーケンスを説明する図である。
【図４１】画素信号の多重化機能を備えた信号処理系の構成例を示すブロック図である。
【符号の説明】
【０１２５】
１１……光学ブロック、１１ａ……ドライバ、１２……ＣＭＯＳ型イメージセンサ、１２ａ……タイミングジェネレータ、１３……アナログフロントエンド回路、１４……デジタル信号処理回路、１５……カメラ制御回路、１６……ヒューマンＩ／Ｆ制御回路、１７……ユーザＩ／Ｆ、１８……手ぶれセンサ、２１……並び替え処理部、２２……カメラ信号処理部、２３……通信Ｉ／Ｆ、２４……シグナルジェネレータ、３０……ＥＮ生成部、４０……並び替え用メモリ、５０……書き込み制御部、６０……読み出し制御部
【図１】
0004692115.tif 000002
【図２】
0004692115.tif 000003
【図３】
0004692115.tif 000004
【図４】
0004692115.tif 000005
【図５】
0004692115.tif 000006
【図６】
0004692115.tif 000007
【図７】
0004692115.tif 000008
【図８】
0004692115.tif 000009
【図９】
0004692115.tif 000010
【図１０】
0004692115.tif 000011
【図１１】
0004692115.tif 000012
【図１２】
0004692115.tif 000013
【図１３】
0004692115.tif 000014
【図１４】
0004692115.tif 000015
【図１５】
0004692115.tif 000016
【図１６】
0004692115.tif 000017
【図１７】
0004692115.tif 000018
【図１８】
0004692115.tif 000019
【図１９】
0004692115.tif 000020
【図２０】
0004692115.tif 000021
【図２１】
0004692115.tif 000022
【図２２】
0004692115.tif 000023
【図２３】
0004692115.tif 000024
【図２４】
0004692115.tif 000025
【図２５】
0004692115.tif 000026
【図２６】
0004692115.tif 000027
【図２７】
0004692115.tif 000028
【図２８】
0004692115.tif 000029
【図２９】
0004692115.tif 000030
【図３０】
0004692115.tif 000031
【図３１】
0004692115.tif 000032
【図３２】
0004692115.tif 000033
【図３３】
0004692115.tif 000034
【図３４】
0004692115.tif 000035
【図３５】
0004692115.tif 000036
【図３６】
0004692115.tif 000037
【図３７】
0004692115.tif 000038
【図３８】
0004692115.tif 000039
【図３９】
0004692115.tif 000040
【図４０】
0004692115.tif 000041
【図４１】
0004692115.tif 000042