(57)【要約】【課題】異なる画素配置とした異なる撮像素子から出力された画像信号を効率的に処理できるようにする。【解決手段】信号処理回路７は、画像処理部７０と、フル画素変換部７４と、選択部７５と、を備える。画像処理部７０は、３板式の撮像素子が出力するＲ，Ｇ，Ｂの画像信号（３板画像）と、単板式の撮像素子が出力するＲ、Ｇ（Ｇｂ，Ｇｒ）、Ｂの画像信号（単版画像）のそれぞれに共通する処理を前段で行う。そして、３板画像と単板画像に特有の処理を後段で行う。さらに、フル画素変換部７４は、特有の処理が行われた単板画像を、３板画像の形式に合わせて変換する。そして、選択部７５は、特有の処理が行われた３板画像と、変換後の単板画像のいずれかを選択して出力する。【選択図】図３
2014096741.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素配置とした第１の撮像素子に対応して所定本数の信号線で入力される第１の画像信号と、前記第１の画素配置とは異なる第２の画素配置とした第２の撮像素子に対応して前記第１の画像信号が入力する前記信号線の本数とは異なる本数の信号線であって、前記第１の画像信号が入力する前記信号線を共用して入力される第２の画像信号とに共通する処理を前段で行い、前記第１の画像信号と前記第２の画像信号に特有の処理を後段で行う画像処理部と、
前記特有の処理が行われた前記第２の画像信号を、前記第１の画像信号の形式に合わせて変換する変換部と、
前記特有の処理が行われた前記第１の画像信号と、変換後の前記第２の画像信号のいずれかを選択し、前記所定本数の信号線で出力する選択部と、を備える
信号処理回路。
【請求項２】
前記画像処理部は、
前記第１の画像信号と、前記第２の画像信号のそれぞれに対して、前記第１及び第２の画像信号に前記共通する処理を行う共通処理部と、
前記共通する処理が行われた前記第１の画像信号に対して第１の処理を行う第１の処理部と、
前記共通する処理が行われた前記第２の画像信号に対して第２の処理を行う第２の処理部と、を備える
請求項１記載の信号処理回路。
【請求項３】
前記共通処理部は、特定の画素が出力した前記第１又は前記第２の画像信号に対して、ゲインをかける処理、又は所定の値を加算する処理を行って、前記第１又は前記第２の画像信号のレベルを変え、
入力する前記第１又は前記第２の画像信号のチャンネル毎に順に信号処理を加える
請求項２記載の信号処理回路。
【請求項４】
前記第１の処理部は、前記第１の処理として、特定の画素が出力した前記第１の画像信号と、前記特定の画素の周囲の画素が出力した前記第１の画像信号、又は他のチャンネルにおける前記第１の画像信号とを関連づけて処理し、
前記第２の処理部は、前記第２の処理として、特定の画素が出力した前記第２の画像信号と、前記特定の画素の周囲の画素が出力した前記第２の画像信号、又は他のチャンネルにおける前記第２の画像信号とを関連づけて処理する
請求項３記載の信号処理回路。
【請求項５】
第１の画素配置とした第１の撮像素子が出力する第１の画像信号、又は前記第１の画素配置とは異なる第２の画素配置とした第２の撮像素子が出力する第２の画像信号に対して、前処理を行う前処理部と、
前記前処理が行われた前記第１又は第２の画像信号に対して所定の処理を行う信号処理回路と、を備え、
前記信号処理回路は、
前記第１の撮像素子に対応して所定本数の信号線で入力される前記第１の画像信号と、前記第２の撮像素子に対応して前記第１の画像信号が入力する前記信号線の本数とは異なる本数の信号線であって、前記第１の画像信号が入力する前記信号線を共用して入力される第２の画像信号とに共通する処理を前段で行い、前記第１の画像信号と前記第２の画像信号に特有の処理を後段で行う画像処理部と、
前記特有の処理が行われた前記第２の画像信号を、前記第１の画像信号の形式に合わせて変換する変換部と、
前記特有の処理が行われた前記第１の画像信号と、変換後の前記第２の画像信号のいずれかを選択し、前記所定本数の信号線で出力する選択部を有する
撮像装置。
【請求項６】
第１の画素配置とした第１の撮像素子に対応して所定本数の信号線で入力される第１の画像信号と、前記第１の画素配置とは異なる第２の画素配置とした第２の撮像素子に対応して前記第１の画像信号が入力する前記信号線の本数とは異なる本数の信号線であって、前記第１の画像信号が入力する前記信号線を共用して入力される第２の画像信号とに共通する処理を前段で行い、前記第１の画像信号と前記第２の画像信号に特有の処理を後段で行う手順、
前記特有の処理が行われた前記第２の画像信号を、前記第１の画像信号の形式に合わせて変換する手順、
前記特有の処理が行われた前記第１の画像信号と、変換後の前記第２の画像信号のいずれかを選択し、前記所定本数の信号線で出力する手順とを、
コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、例えば、３板式又は単板式の撮像素子から出力された画像信号を処理する場合に適用して好適な信号処理回路、撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、プリズムによって分解された３つの光学像を、それら３つの光学像に対応して配置された３つの撮像素子（いわゆる３板式の撮像素子）を用いて撮像する撮像装置が知られている。３板式の撮像素子が形成されたＲ（赤），Ｇ（緑），Ｂ（青）の各チャネルに対応する画像信号は、それぞれゲイン調整、ガンマ補正等の処理を経た後、出力される。
【０００３】
また、Ｒ，Ｇ，Ｂ画素をベイヤ配列で構成した撮像素子（いわゆる単板式の撮像素子）を用いた撮像装置も知られている。単板式の撮像素子は、色フィルタを介して被写体の像光を取込み、像光の強さに応じて画像信号を出力するものである。そして、撮像素子の後段に配置された各種の処理部が画像信号に所定の処理を加え、ビューファインダや外部の表示装置に画像を表示させている。
【０００４】
特許文献１には、カラーフィルタの配列方式が異なる撮像素子により得られた画素データに対する信号処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−９４１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来は、３板式、単板式の両方の画素配列に対応した信号処理回路（例えば、ＬＳＩ（Large Scale Integration））が存在していなかった。しかし、単板式の撮像素子に用いる信号処理回路と、３板式の撮像素子に用いる信号処理回路とを一つの信号処理装置に搭載する要望があった。この結果として、各撮像素子に対応した信号処理回路の積載面積が拡大すると共に、開発コストが増えていた。
【０００７】
本開示はこのような状況に鑑みて成されたものであり、異なる画素配置とした異なる撮像素子から出力された画像信号を効率的に処理できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本開示は、第１の画素配置とした第１の撮像素子に対応して所定本数の信号線で入力される第１の画像信号と、第１の画素配置とは異なる第２の画素配置とした第２の撮像素子に対応して第１の画像信号が入力する信号線の本数とは異なる本数の信号線であって、第１の画像信号が入力する信号線を共用して入力される第２の画像信号とに共通する処理を前段で行う。次に、第１の画像信号と第２の画像信号に特有の処理を後段で行う。
さらに、特有の処理が行われた第２の画像信号を、第１の画像信号の形式に合わせて変換する。
そして、特有の処理が行われた第１の画像信号と、変換後の第２の画像信号のいずれかを選択し、所定本数の信号線で出力するものである。
【０００９】
このように、第１の画像信号と第２の画像信号の共通する処理を行い、後で特有の処理を行うことが可能となった。
【発明の効果】
【００１０】
本開示によれば、異なる画素配置とした異なる撮像素子から出力される画像信号を処理する信号処理回路の全体の処理量を抑え、回路規模を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施の形態例における撮像装置の内部構成例を示すブロック図である。
【図２】本開示の一実施の形態例における撮像素子、前処理部の内部構成例を示すブロック図である。
【図３】本開示の一実施の形態例における信号処理回路の内部構成例を示すブロック図である。
【図４】本開示の一実施の形態例における画像信号の処理の内容を示す説明図である。
【図５】本開示の一実施の形態例における画像信号の処理の内容を示す説明図である。
【図６】３板式の撮像素子におけるＲ，Ｇ，Ｂ画素の構成例を示す説明図である。
【図７】単板式の撮像素子における画素の構成例を示す説明図である。
【図８】３板画像の処理とベイヤ画像の処理を別々に行った後に画像を選択出力する従来の信号処理回路の構成例を示す説明図である。
【図９】前段でフル画素変換の処理を行う従来の信号処理回路の構成例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、本開示を実施するための形態（以下、実施の形態例とする。）について説明する。なお、説明は以下の順序で行い、共通する部分には同一符号を付し、詳細な説明を省略する。
１．前提説明
２．一実施の形態例（単板画像と３板画像の処理を、単チャンネル処理と複チャンネル処理で分けた例）
３．変形例
【００１３】
＜１．前提説明＞
本開示者らは、まず以下の検討を行った。
図６は、３板式の撮像素子におけるＲ，Ｇ，Ｂ画素の構成例を示す説明図である。
３板式の撮像素子は、図６Ａに示すＲ画素、図６Ｂに示すＧ画素、図６Ｃに示すＢ画素によって構成される。３板式の撮像素子では、３枚の撮像素子の撮像面に同一チャンネル毎のＲ，Ｇ，Ｂ画素を配置した構成（第１の画素配置の一例）としている。すなわち、３板式の撮像素子は、各撮像素子の表面に各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させるカラーフィルタを貼り付けた構成としている。例えば、各撮像素子の手前には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の特定波長光のみを透過させる３種類のフィルタがそれぞれ配置される。
【００１４】
このように３板式の撮像素子を構成することにより、１つの撮像素子からはＲ，Ｇ，Ｂのうち、１色に対応する画像信号が出力される。（第１の画像信号の一例）以下の説明では、３板式の撮像素子からそれぞれ出力されるＲ，Ｇ，Ｂの画像信号を「３板画像」とも呼ぶ。また、画像信号の読み出しの単位は、図中に太枠で示した範囲とする。
【００１５】
図７は、単板式の撮像素子における画素の構成例を示す説明図である。
単板式の撮像素子では、特定の波長成分光（Ｒ、Ｇ（Ｇｂ，Ｇｒ）、Ｂ）を透過させる３種類のフィルタを市松模様状に並べてベイヤ配列（第２の画素配置の一例）としたカラーフィルタが撮像素子の手前に配置される。そして、太枠で囲った範囲内に配置された画素からは、同時にＲ、Ｇ（Ｇｂ，Ｇｒ）、Ｂの画像信号（第２の画像信号の一例）が出力される。以下の説明では、単板式の撮像素子から出力されるＲ、Ｇ（Ｇｂ，Ｇｒ）、Ｂの画像信号を「ベイヤ画像」とも呼ぶ。
【００１６】
そして、図６と図７に示した各撮像素子が出力する画像信号を用いてカラー画像を生成する処理では、複数個の画素から出力される画像信号を組み合わせて必要な色成分を復元している。
【００１７】
ここで、一般的に検討されていた３板式の撮像素子と、単板式の撮像素子からそれぞれ出力される画像信号を処理する処理ブロックの構成例について、図８と図９を参照して説明する。
【００１８】
図８は、３板画像の処理とベイヤ画像の処理を別々に行った後に画像を選択出力する従来の信号処理回路１００の構成例を示す説明図である。
信号処理回路１００は、３板画像処理部１０１、ベイヤ画像処理部１０２、フル画素変換部１０３、選択部１０４とを備える。
【００１９】
３板画像処理部１０１は、入力した３板画像に信号処理を加えて、選択部１０４に処理後の３板画像を出力する。ベイヤ画像処理部１０２は、入力したベイヤ画像に信号処理を加えた後に、フル画素変換部１０３に処理後のベイヤ画像を出力する。フル画素変換部１０３は、ベイヤ画像に含まれる各画素から出力された画像信号を補間してフルＲＧＢ形式の画像信号に変換している（このような処理を「フル画素変換」と呼ぶ）。
【００２０】
フル画素変換部１０３が出力する画像信号は、Ｒ、Ｇ、Ｂの３原色信号となる。選択部１０４は、信号処理回路１００に入力した３板画像又はベイヤ画像のいずれかに対応する画像信号を選択して出力する。
【００２１】
図８に示した３板画像とベイヤ画像が別々に入力する信号処理回路１００を一つの信号処理回路に収めるためには、３板画像とベイヤ画像のそれぞれに、後述する共通処理と同じ処理を加える画像処理部が２重に必要となる。このため、信号処理回路１００の大きさを小さくすることができない。
【００２２】
図９は、前段でフル画素変換の処理を行う従来の信号処理回路１１０の構成例を示す説明図である。
信号処理回路１１０は、フル画素変換部１１１、選択部１１２、画像処理部１１３とを備える。
【００２３】
３板画像とベイヤ画像が別々に入力する信号処理回路１１０では、３板画像が選択部１１２に直接入力され、ベイヤ画像は、フル画素変換部１１１によって、フル画素変換された後に、選択部１１２に入力されている。そして、選択部１１２は、信号処理回路１００に入力した３板画像又はベイヤ画像に基づいて出力する画像信号を選択し、画像処理部１１３は、選択出力された画像信号に対して、３板画像とベイヤ画像のいずれにも共通する処理を行っている。
【００２４】
このように信号処理回路１１０では、始めにベイヤ画像をフル画素変換することで、選択部１１２以降の処理を、３板画像を処理するための信号処理回路による処理と共用できる。しかし、フル画素変換部１１１では、各画素に対応する画像信号への処理量が多くなり、回路規模が増えてしまう。
【００２５】
上記の検討の結果、本開示者らは、以下に示す本開示の一実施の形態例に係る撮像装置１の構成及び処理を見いだした。ここでは、信号処理回路に入力した３板画像とベイヤ画像の処理を行う際に、どのようにして信号処理回路の回路規模を抑えながら所望の処理を行うことができるかについて説明を行う。
【００２６】
＜２．一実施の形態例＞
［単板画像と３板画像の処理を、単チャンネル処理と複チャンネル処理で分けた例］
以下、本開示の一実施の形態例に係る撮像装置１の構成例及び処理例について、図１〜図５を参照して説明する。
この撮像装置１は、コンピュータがプログラムを実行することにより、後述する内部ブロックが連携して行う信号処理方法を実現する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【００２７】
図１は、撮像装置１の内部構成例を示すブロック図である。
撮像装置１は、光学系３、アイリス４、撮像素子５を有し、３板画像又はベイヤ画像を出力する撮像部２を備える。光学系３は、複数のレンズ等を含み、被写体の像光を透過する。アイリス４は、光学系３を介して透過する像光の絞りを調整する。撮像素子５は、光学系３とアイリス４を介して撮像素子５の撮像面に結像した像光からアナログ画像信号を生成して出力する。撮像素子５には、例えば、ＣＣＤ（Charge Coupled Devices）イメージャまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。また、撮像素子５には、後述するように３板式又は単板式の撮像素子が用いられる。
【００２８】
また、撮像装置１は、撮像素子５から入力するアナログ画像信号を増幅して、デジタル画像信号に変換する前処理を行う前処理部６と、前処理部６から出力されたデジタル画像信号に所定の信号処理を行う信号処理回路７と、を備える。前処理部６は、入力した画像信号から、３板画像又はベイヤ画像のいずれかを選択した画像信号を信号処理回路７に出力する。信号処理回路７は、画像処理に用いるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）８を備え、変数、パラメータ等をＳＤＲＡＭ８に適宜書き込み、又は読み出しを行う。
【００２９】
また、撮像装置１は、各種のデータを一時的に保存するワーク領域として用いるＲＡＭ（Random Access Memory）９を備える。また、撮像装置１に対して着脱可能なフラッシュメモリ等の記録メディア１１に、デジタル画像信号の書込み又は読み出しを制御するメディアインタフェース１０と、を備える。記録メディア１１には、一般的なメモリカードが用いられる。また、撮像装置１は、ＵＳＢケーブル等を介して接続された不図示のコンピュータ装置に画像を出力したり、取り込んだりする処理を制御するネットワークインタフェース１２を備える。
【００３０】
また、撮像装置１は、各処理ブロックの動作を制御する制御部１３と、プログラム等を記憶するＲＯＭ１４を備える。また、撮像装置１は、デジタル画像信号に基づいて表示部１７にスルー画像や記録メディア１１から読み出した画像を表示する表示制御部１５と、表示制御部１５に接続され、スルー画像等を外部に接続されたモニタ等に出力する画像出力部１６と、を備える。また、撮像装置１は、ユーザが指示物体により操作入力を行う操作部１８を備える。表示部１７は、例えば、大きさを３〜３．５インチとし、画面アスペクト比を１６：９としている。
【００３１】
また、撮像装置１は、制御部１３の制御によって、各部の動作タイミングの同期を取るタイミング信号を生成するタイミング信号生成部１９と、撮像素子５の垂直読み出しを制御する垂直制御部２０を備える。垂直制御部２０は、タイミング信号生成部１９から供給されるタイミング信号に同期して撮像素子５からアナログ画像信号を読み出す。
【００３２】
次に、撮像装置１の各部の動作について説明する。
ユーザが操作部１８を操作して撮像を開始すると、制御部１３は、アイリス４にアイリス動作を行わせ、撮像部２、前処理部６に処理を開始させる。制御部１３が動作するプログラムは、ＲＯＭ１４から適宜読出され、制御パラメータ等がＲＡＭ９に書き込まれて処理が実行される。
【００３３】
光学系３を通過した被写体の像光は、アイリス４によって光量が調整され、撮像素子５の撮像面に結像する。撮像素子５は、撮像面に結像した被写体の像光によりアナログ画像信号を出力し、前処理部６は、アナログ画像信号をデジタル画像信号に変換する。撮像素子５からアナログ画像信号を読出すタイミングや、前処理部６がデジタル画像信号を出力するタイミングは、制御部１３によって制御される。
【００３４】
信号処理回路７は、前処理部６からデジタル画像信号を受け取ると、ノイズを除去したり、デジタル画像信号を増幅したりする等の様々な補正処理を行う。そして、メディアインタフェース１０を介して出力したデジタル画像信号を記録メディア１１に書き込んで保存する。
【００３５】
また、信号処理回路７は、表示制御部１５にデジタル画像信号を出力し、スルー画像を表示部１７に表示させる。そして、制御部１３は、操作部１８から入力された操作指示に従って各部を動作させたり、表示制御部１５に対して、表示部１７に各種の情報を表示させたりする制御を行う。制御部１３は、画像出力部１６に接続されたモニタ等に、スルー画像の画像信号や記録メディア１１から読み出した画像信号を出力する。また、制御部１３は、ネットワークインタフェース１２に接続されたＰＣ等によって指示された画像信号を記録メディア１１から読み出して、ＰＣに出力する。
【００３６】
図２は、撮像素子５、前処理部６の内部構成例を示すブロック図である。
撮像素子５には、３板式の撮像素子５ｒ，５ｇ，５ｂと、単板式の撮像素子５ｓが含まれる。撮像素子５ｒ，５ｇ，５ｂは、撮像面に結像した像光を光電変換することによって、３板画像であるＲ，Ｇ，Ｂアナログ画像信号を出力する。前処理部６は、撮像素子５ｒ，５ｇ，５ｂのそれぞれに対して、アンプ６１ｒ，６１ｇ，６１ｂと、アナログ／デジタル変換部６２ｒ，６２ｇ，６２ｂを備える。
【００３７】
撮像素子５ｓは、例えば、ベイヤ配列によって構成されており、撮像面に結像した像光を光電変換することによって、ベイヤ画像であるＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂアナログ画像信号を出力する。前処理部６は、撮像素子５ｓに対して、アンプ６１ｓと、アナログ／デジタル変換部６２ｓと、セレクタ６３とを備える。
【００３８】
また、前処理部６は、第１の画素配置とした第１の撮像素子（撮像素子５ｒ，５ｇ，５ｂ）が出力する第１の画像信号（例えば、Ｒ，Ｇ，Ｂデジタル画像信号）に対して前処理を行う。また、前処理部６は、第１の画素配置とは異なる第２の画素配置とした第２の撮像素子（撮像素子５ｓ）が出力する第２の画像信号（例えば、Ｒ，Ｇ（Ｇｒ，Ｇｂ），Ｂデジタル画像信号）に対して前処理を行う。この前処理には、例えば、アナログ画像信号を増幅し、アナログ画像信号をデジタル画像信号に変換し、３板式の撮像素子５ｒ，５ｇ，５ｂと、単板式の撮像素子５ｓのいずれかから入力したデジタル画像信号を選択して信号処理回路７に出力する処理がある。信号処理回路７の詳細な処理例については後述する。
【００３９】
撮像素子５ｒ，５ｇ，５ｂが出力するアナログ画像信号は、アンプ６１ｒ，６１ｇ，６１ｂによって増幅され、アナログ／デジタル変換部６２ｒ，６２ｇ，６２ｂによって量子化されたデジタル画像信号に変換される。同様に、撮像素子５ｓが出力するアナログ画像信号は、アンプ６１ｓによって増幅され、アナログ／デジタル変換部６２ｓによって量子化されたデジタル画像信号に変換される。
【００４０】
セレクタ６３には、３板画像であるＲ，Ｇ，Ｂデジタル画像信号が入力し、ベイヤ画像であるＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂデジタル画像信号が入力する。そして、セレクタ６３は、撮像装置１で用いられている撮像素子の種類に合わせて選択した画像信号を信号処理回路７に出力する。
【００４１】
図２には、セレクタ６３の出力として、Ｒ，Ｇ（Ｇｒ，Ｇｂ），Ｂの４本の信号線を記載している。例えば、セレクタ６３がベイヤ画像を選択すると、セレクタ６３の４本の信号線に、それぞれＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂデジタル画像信号を乗せて出力される。しかし、セレクタ６３が三板式の撮像素子５ｒ，５ｇ，５ｂに対応する画像信号を選択すると、セレクタ６３の４本の信号線のうち、Ｒ，Ｇｒ，Ｂの３本の信号線に、それぞれＲ，Ｇ，Ｂデジタル画像信号を乗せて出力する。このとき、Ｇｂの信号線は用いられない。
【００４２】
図３は、一実施の形態例に係る信号処理回路７の内部構成例を示すブロック図である。
信号処理回路７は、画像処理部７０と、フル画素変換部７４と、選択部７５とを備える。また、画像処理部７０は、第１の画像信号と、第２の画像信号のそれぞれに対して、第１及び第２の画像信号に共通する処理を行う共通処理部（例えば、単チャンネル処理部７１）を備える。また、画像処理部７０は、共通する処理が行われた第１の画像信号に対して第１の処理を行う第１の処理部（例えば、第１の複チャンネル処理部７２）と、共通する処理が行われた第２の画像信号に対して第２の処理を行う第２の処理部（例えば、第２の複チャンネル処理部７３）と、を備える。
【００４３】
第１の複チャンネル処理部７２は、第１の処理を行う。第１の処理として、特定の画素が出力した第１の画像信号（後述する対象画素）と、特定の画素の周囲の画素（後述する前画素、後画素）が出力した第１の画像信号、又は他のチャンネルにおける第１の画像信号とを関連づけて処理する。また、第２の複チャンネル処理部７３は、第２の処理として、特定の画素が出力した第２の画像信号と、特定の画素の周囲の画素が出力した第２の画像信号、又は他のチャンネルにおける第２の画像信号とを関連づけて処理する。画像処理部７０と選択部７５には、操作部１８によって予めどの画像信号を処理すべきか指示されている。
【００４４】
画像処理部７０には、撮像素子５ｒ，５ｇ，５ｂから前処理部６を経て、所定本数（例えば、３本）の信号線で第１の画像信号（例えば、３板画像）が入力される。また、画像処理部７０には、撮像素子５ｓから第１の画像信号が入力する信号線の本数とは異なる本数（例えば、４本）の信号線であって、第１の画像信号が入力する信号線を共用して第２の画像信号（例えば、ベイヤ画像）が入力される。画像処理部７０は、第１の画像信号と第２の画像信号に共通する処理を前段で行い、第１の画像信号と第２の画像信号に特有の処理を後段で行う。そして、変換部（例えば、フル画素変換部７４）が特有の処理が行われた第２の画像信号を、第１の画像信号の形式に合わせて変換するまた、選択部（例えば、選択部７５）が、特有の処理が行われた第１の画像信号と、変換後の第２の画像信号のいずれかを選択し、所定本数（例えば、３本）の信号線で出力する。
【００４５】
本例の信号処理回路７には、前処理部６が出力したベイヤ画像又は３板画像が４本の信号線を共用して入力される。始めに、信号処理回路７は、３板画像とベイヤ画像が共通する処理を行う。その後、フル画素変換部７４によって、ベイヤ画像のＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂデジタル画像信号が、フル画素のＲ，Ｇ，Ｂ画像信号に変換されて選択部７５に入力される。選択部７５は、信号処理回路７に入力され、所定の処理が行われた画像信号を選択して出力する。
【００４６】
ここで、画像処理部７０で行われる画像信号の処理について説明する。
画像信号の処理は、各処理の内容に応じて、以下のように分類することができる。
（条件１）周辺画素の影響を受けないレベル方向のみの情報で処理されるもの（加算、ゲイン）
（条件２）入力した画像信号のうち、単チャンネル（単色）のみの情報で処理されるもの
（条件３）空間処理、他チャンネル（他画素）からの影響を受けるもの
【００４７】
ベイヤ画像は、３板画像と比べて１チャンネル（Ｇｂ）多く、信号処理回路７に入力する信号線を３板画像と共用している。ここで、３板画像とベイヤ画像で空間位相は異なるが、上記の条件１，２のどちらかの条件に当てはまる処理は空間位相の違いによる影響がなく、共通処理が可能である。このため、条件１，２の処理を画像処理部７０における前段に集約して、共通処理を多くし、条件３の処理を後段に集約することによって、信号処理回路７の回路規模を削減することができる。
【００４８】
ここで、画像処理部７０で行われる共通処理と特有の処理の具体例について説明する。
【００４９】
図４は、単チャンネル処理部７１が行う画像信号の処理の内容を示す説明図である。図４Ａは、画像信号に一定のゲインを掛ける例を示し、図４Ｂは、画像信号に一定値を加算する例を示す。図４Ｃは、同チャンネルの画素の配置例を示し、図４Ｄは、Ｒチャンネルに対応する単チャンネル処理部７１の内部構成例を示す。
【００５０】
単チャンネル処理部７１は、特定の画素が出力した第１又は第２の画像信号に対して、ゲインをかける処理、又は所定の値を加算する処理を行って、第１又は第２の画像信号のレベルを変える。そして、入力する第１又は第２の画像信号のチャンネル毎順に信号処理を加える。本例の単チャンネル処理部７１は、条件１に示したレベル方向のみの情報と、条件２に示した単チャンネル（単色）のみの情報で３板画像又はベイヤ画像を処理する。
【００５１】
図４Ａに示すように、単チャンネル処理部７１内に乗算部７１ａを設けておき、単チャンネル処理部７１に入力する各チャンネルの画像信号に対して、制御部１３によって制御される設定値や演算結果を用いて、一定のゲインを掛ける。具体的な処理としては、例えば、ホワイトバランス処理、マスターゲイン処理、シェーディング補正処理がある。
【００５２】
また、図４Ｂに示すように、単チャンネル処理部７１内に加算部７１ｂを設けておき、単チャンネル処理部７１に入力する各チャンネルの画像信号に対して、制御部１３によって制御される設定値や演算結果を用いて、一定値を加算する。具体的な処理としては、例えば、黒レベル調整処理、フレア補正処理、縦筋補正処理がある。
【００５３】
図４Ｃには、Ｒチャンネルにおける画素の配置を簡略化して示している。ここで、３つの画素のうち、真ん中の画素を処理対象となる「対象画素」と呼び、対象画素の右側に配置された画素を「前画素」と呼び、対象画素の左側に配置された画素を「後画素」と呼ぶ。以下の説明では、他のチャンネルの画素についても同様に称呼する。画像信号の処理順としては、対象画素が出力した画像信号の処理の前に、前画素が出力した画像信号の処理が行われる。そして、対象画素が出力した画像信号の処理の後に、後画素が出力した画像信号の処理が行われる。
【００５４】
図４Ｄに示す処理回路は、Ｒチャンネルに関するものであるが、その他のチャンネルについても同様の処理回路を構成し、同様の処理を行うものとする。この処理回路では、図４Ｃに示した各画素から出力された画像信号を、説明の便宜のために画素の名称だけで図示している。
【００５５】
入力したＲチャンネルの画像信号は、第１の遅延部７１ｃにより、次の画素が出力した画像信号が入力するまで遅延される。第１の遅延部７１ｃによって遅延された対象画素は、演算部７１ｆに出力される。第２の遅延部７１ｄでは、第１の遅延部７１ｃによって入力が遅延された前画素がさらに遅延されている。第１の遅延部７１ｃ，７１ｄには、例えば、フリップフロップ（Flip Flop）が用いられる。そして、加算部７１ｅによって、前画素と後画素が加算され、この加算された画素が演算部７１ｆに出力される。演算部７１ｆは、対象画素に対して、前画素と後画素を加算した画素により所定の演算を行い、演算後の対象画素を出力する。
【００５６】
加算部７１ｅでは、位相の異なる画素から出力された画像信号は、前画素及び後画素のようにまとめて加算している。また、ある処理時間で、対象画素に対応する画像信号は、次の処理時間で前画素に対応する画像信号となる。このため、対象画素の前後による区別がない。そして、単チャンネルのみの演算、かつ位相の異なる画素が場所に影響しないものとしている。このようにして単チャンネル処理部７１が行う処理には、例えば、欠陥検出処理、欠陥補正処理がある。
【００５７】
図５は、第１の複チャンネル処理部７２と第２の複チャンネル処理部７３が行う画像信号の処理の内容を示す説明図である。図５Ａは、Ｒチャンネルの画像信号にＧｂチャンネルの画像信号を乗じて演算する例を示し、図５Ｂは、Ｒチャンネルに対応する第１の複チャンネル処理部７２の内部構成例を示す。なお、他のチャンネルに対応する第１の複チャンネル処理部７２の内部構成と、第２の複チャンネル処理部７３の内部構成は、Ｒチャンネルに対応する第１の複チャンネル処理部７２と同様のものとしている。
【００５８】
第１の複チャンネル処理部７２と第２の複チャンネル処理部７３は、それぞれ上述した条件３に示した空間処理を行い、他チャンネル（他画素）からの影響を受ける情報によって、３板画像又はベイヤ画像を処理する。
【００５９】
図５Ａに示すように、第１の複チャンネル処理部７２内に乗算部７２ａを設けておく。そして、第１の複チャンネル処理部７２に入力するＲチャンネルの画像信号に対して、制御部１３によって制御される設定値や演算結果を用いて、他のチャンネル（例えば、Ｇｂチャンネル）の画像信号を混ぜて演算する。具体的な処理としては、例えば、ＹＣマトリックス処理、色変換処理、輝度演算処理がある。
【００６０】
図５Ｂに示す処理回路は、Ｒチャンネルに関するものであるが、その他のチャンネルについても同様の処理回路を構成し、同様の処理を行うものとする。この処理回路では、各画素から出力された画像信号を、説明の便宜のために画素の名称だけで図示している。
【００６１】
入力したＲチャンネルの画像信号は、第１の遅延部７２ｂにより、次の画素が出力した画像信号が入力するまで遅延される。第１の遅延部７２ｂによって遅延された対象画素は、乗算部７２ｅに出力される。第２の遅延部７２ｃでは、第１の遅延部７２ｂによって入力が遅延された前画素がさらに遅延されている。第１の遅延部７２ｂ，７２ｄには、例えば、フリップフロップが用いられる。
【００６２】
乗算部７２ｄ〜７２ｆは、それぞれ別に処理を行っており、乗算部７２ｄでは、前画素に所定の値を乗じ、乗算部７２ｅでは、対象画素に所定の値を乗じ、乗算部７２ｆでは、対象画素に所定の値を乗じている。そして、加算部７２ｇによって、前画素、対象画素及び後画素が加算され、この加算された画素を出力する。
【００６３】
このように乗算部７２ｄ〜７２ｆでは、位相の異なる画素から出力された画像信号は、前画素、対象画素及び後画素のように別々に処理している。このため、前画素、対象画素及び後画素は、位相によって区別される。このようにして第１の複チャンネル処理部７２は、対象画素のフィルタ演算等を行う際に、周辺画素の位置情報を含めて演算することができる。第１の複チャンネル処理部７２が行う処理には、例えば、収差補正処理、解像度変換処理、画サイズ変換処理がある。
【００６４】
以上説明した一実施の形態例に係る信号処理回路７によれば、異なる画素配置とした撮像素子から出力された画像信号について、条件１に示したレベル方向のみの情報は、周辺画素の影響を受けないため、前段の共通処理とする。同様に、条件２に示した単チャンネル（単色）のみの情報についても、前段の共通処理とする。そして、条件３に示した空間処理を行い、他チャンネル（他画素）からの影響を受ける情報は、各撮像素子から出力された画像信号毎に後段の個別の処理とする。これにより、前段の共通処理を多くして、画像信号の劣化を防ぎながら信号処理回路７の回路規模を削減することができる。
【００６５】
また、信号処理回路７に入力する画像信号は、異なる画素配置とした撮像素子から出力された画像信号であっても信号線を共用する。そして、信号処理回路７において、画像信号の形式を揃えることにより、信号処理回路７からは、同じ信号線で画像信号を出力する。これにより、信号処理回路７の入出力における信号線の数を削減することができる。
【００６６】
＜３．変形例＞
なお、上述した実施の形態例では、３板画像とベイヤ画像について処理を行う構成について説明したが、その他の画素配置とした撮像素子の組み合わせによって出力される画像信号についても信号処理回路７と同様に処理することができる。
【００６７】
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータ等に所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【００６８】
また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（又はＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【００６９】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７０】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行う。その処理によって上述した実施の形態例の機能が実現される場合も含まれる。
【００７１】
また、本開示は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【００７２】
なお、本開示は以下のような構成も取ることができる。
（１）
第１の画素配置とした第１の撮像素子に対応して所定本数の信号線で入力される第１の画像信号と、前記第１の画素配置とは異なる第２の画素配置とした第２の撮像素子に対応して前記第１の画像信号が入力する前記信号線の本数とは異なる本数の信号線であって、前記第１の画像信号が入力する前記信号線を共用して入力される第２の画像信号とに共通する処理を前段で行い、前記第１の画像信号と前記第２の画像信号に特有の処理を後段で行う画像処理部と、
前記特有の処理が行われた前記第２の画像信号を、前記第１の画像信号の形式に合わせて変換する変換部と、
前記特有の処理が行われた前記第１の画像信号と、変換後の前記第２の画像信号のいずれかを選択し、前記所定本数の信号線で出力する選択部と、を備える
信号処理回路。
（２）
前記画像処理部は、
前記第１の画像信号と、前記第２の画像信号のそれぞれに対して、前記第１及び第２の画像信号に前記共通する処理を行う共通処理部と、
前記共通する処理が行われた前記第１の画像信号に対して第１の処理を行う第１の処理部と、
前記共通する処理が行われた前記第２の画像信号に対して第２の処理を行う第２の処理部と、を備える
前記（１）記載の信号処理回路。
（３）
前記共通処理部は、特定の画素が出力した前記第１又は前記第２の画像信号に対して、ゲインをかける処理、又は所定の値を加算する処理を行って、前記第１又は前記第２の画像信号のレベルを変え、
入力する前記第１又は前記第２の画像信号のチャンネル毎に順に信号処理を加える
前記（１）又は（２）記載の信号処理回路。
（４）
前記第１の処理部は、前記第１の処理として、特定の画素が出力した前記第１の画像信号と、前記特定の画素の周囲の画素が出力した前記第１の画像信号、又は他のチャンネルにおける前記第１の画像信号とを関連づけて処理し、
前記第２の処理部は、前記第２の処理として、特定の画素が出力した前記第２の画像信号と、前記特定の画素の周囲の画素が出力した前記第２の画像信号、又は他のチャンネルにおける前記第２の画像信号とを関連づけて処理する
前記（１）〜（３）のいずれかに記載の信号処理回路。
（５）
第１の画素配置とした第１の撮像素子が出力する第１の画像信号、又は前記第１の画素配置とは異なる第２の画素配置とした第２の撮像素子が出力する第２の画像信号に対して、前処理を行う前処理部と、
前記前処理が行われた前記第１又は第２の画像信号に対して所定の処理を行う信号処理回路と、を備え、
前記信号処理回路は、
前記第１の画像信号と前記第２の画像信号のそれぞれに共通する処理を前段で行い、前記第１の画像信号と前記第２の画像信号に特有の処理を後段で行う画像処理部と、
前記特有の処理が行われた前記第２の画像信号を、前記第１の画像信号の形式に合わせて変換する変換部と、
前記特有の処理が行われた前記第１の画像信号と、変換後の前記第２の画像信号のいずれかを選択し、前記所定本数の信号線で出力する選択部を有する
撮像装置。
（６）
第１の画素配置とした第１の撮像素子が出力する第１の画像信号と、前記第１の画素配置とは異なる第２の画素配置とした第２の撮像素子が出力する第２の画像信号のそれぞれに共通する処理を前段で行い、前記第１の画像信号と前記第２の画像信号に特有の処理を後段で行う手順、
前記特有の処理が行われた前記第２の画像信号を、前記第１の画像信号の形式に合わせて変換する手順、
前記特有の処理が行われた前記第１の画像信号と、変換後の前記第２の画像信号のいずれかを選択し、前記所定本数の信号線で出力する手順とを、
コンピュータに実行させるプログラム。
【符号の説明】
【００７３】
１…撮像装置、２…撮像部、３…光学系、４…アイリス、５…撮像素子、６…前処理部、７…信号処理回路、７０…画像処理部、７１…単チャンネル処理部、７２…第１の複チャンネル処理部、７３…第２の複チャンネル処理部、７４…フル画素変換部、７５…選択部
【図１】
2014096741.tif 000003
【図２】
2014096741.tif 000004
【図３】
2014096741.tif 000005
【図４】
2014096741.tif 000006
【図５】
2014096741.tif 000007
【図６】
2014096741.tif 000008
【図７】
2014096741.tif 000009
【図８】
2014096741.tif 000010
【図９】
2014096741.tif 000011