(57)【要約】【課題】各画素を識別するための設定用回路の規模が増大することを抑制し、任意の配列を有する撮像素子から出力された画像データの処理に対応可能な画像処理装置を提供する。【解決手段】１つ以上の基本配列パターンで構成される画素配列を水平方向及び垂直方向に繰り返して複数の画素が配置された撮像素子の基本配列パターンを画素毎に画素識別ＩＤを指定して設定するとともに、画素配列での基本配列パターンの配置方法を設定し、設定された基本配列パターンの配置方法に従って、設定された基本配列パターンの画素識別ＩＤを読み出して画素識別信号として出力し、画素識別信号を基に各画素を識別し撮像素子からの画像データに処理を行う。【選択図】図２
2016158041.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の基本配列パターンで構成される画素配列を水平方向及び垂直方向に繰り返して複数の画素が配置された撮像素子の前記基本配列パターンを、前記基本配列パターンの画素毎に画素を識別するための画素識別情報を指定して設定する第１の設定手段と、
前記画素配列での前記基本配列パターンの配置方法を設定する第２の設定手段と、
設定された前記基本配列パターンの配置方法に従って、設定された前記基本配列パターンの前記画素識別情報を読み出して画素識別信号として出力する出力手段と、
前記画素識別信号を基に各画素を識別し、前記撮像素子により得られる画像データに前記画素識別信号に応じた処理を行う処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第２の設定手段は、前記画素配列での各領域に配置する前記基本配列パターンを設定する手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の設定手段は、前記画素配列として配置される前記基本配列パターン毎に前記基本配列パターンの回転角度の情報を設定する手段を有することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第２の設定手段は、前記画素配列として配置される前記基本配列パターン毎に前記基本配列パターンの反転方法の情報を設定する手段を有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
水平方向及び垂直方向に繰り返した前記画素配列の内で、前記処理手段による処理時に処理対象とならない画素を設定する第３の設定手段を有し、
前記出力手段は、前記第３の設定手段により設定された画素の前記画素識別情報の読み出しを行わないことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記撮像素子の画素の有するカラーフィルタ色の情報を前記画素識別情報として用いることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記撮像素子の画素の有する機能の情報を前記画素識別情報として用いることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
前記画素配列を構成する前記基本配列パターン及び前記画素配列での前記基本配列パターンの配置方法を、２つ以上の種類の前記画素識別情報をそれぞれ用いて設定し、
前記出力手段は、前記２つ以上の種類の前記画素識別情報をそれぞれ読み出して、２つ以上の種類の前記画素識別信号として出力することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
水平方向及び垂直方向に繰り返される前記画素配列が異なる複数の領域を前記撮像素子が有しており、該領域毎に前記画素配列を構成する前記基本配列パターン及び前記画素配列での前記基本配列パターンの配置方法を設定し、
前記出力手段は、該領域毎に前記基本配列パターンの前記画素識別情報を読み出して画素識別信号として出力することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
１つ以上の基本配列パターンで構成される画素配列を水平方向及び垂直方向に繰り返して複数の画素が配置された撮像素子の前記基本配列パターンを、前記基本配列パターンの画素毎に画素を識別するための画素識別情報を指定して設定する工程と、
前記画素配列での前記基本配列パターンの配置方法を設定する工程と、
設定された前記基本配列パターンの配置方法に従って、設定された前記基本配列パターンの前記画素識別情報を読み出して画素識別信号として出力する出力工程と、
前記画素識別信号を基に各画素を識別し、前記撮像素子により得られる画像データに前記画素識別信号に応じた処理を行う工程とを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等に搭載されているＣＭＯＳ型やＣＣＤ型の撮像素子では、１つの赤色（Ｒ）と２つの緑色（Ｇ）と１つの青色（Ｂ）のカラーフィルタから構成される２×２画素を単位としたベイヤー配列が多く使用されている。しかし、近年、従来のベイヤー配列とは異なるカラーフィルタ配列を有する撮像素子が製品化されている。
【０００３】
例えば、６×６画素を単位とした非周期性の高いカラーフィルタ配列を持つ撮像素子が提案されており、ベイヤー配列と比較してカラーフィルタ配列の非周期性の向上によりモアレの発生を軽減している。また、カラーフィルタ配列に加えて、距離測定や赤外線受光等に用いられる機能画素を撮像面に搭載した撮像素子が登場してきており、撮像素子から出力される画素データ信号は複雑化している。
【０００４】
従来の画像処理装置の多くは、ベイヤー配列を有する撮像素子から出力される画素データ信号の並び順に対応している。特許文献１には、回路内でベイヤー配列の各色に対応したＩＤ信号を設定して各色に対応した信号処理を実行する技術が開示されている。また、特許文献２には、カラーフィルタ配列が異なる撮像素子から出力される画素データ信号の並び順を処理可能な並び順に変換する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３６１９１号公報
【特許文献２】特開２００６−９４１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来開示されている技術では、特殊用途を持つ機能画素や、複雑な構成のカラーフィルタ配列を有する撮像素子から出力された画素データ信号を扱えないという問題があった。また、機能画素やカラーフィルタの配列が複雑化した場合、各画素を回路内で識別するためのＩＤの設定用回路の規模が増大するという問題や、撮像素子が有する画素配列の種類毎に設定用回路側を変更する場合、開発負荷が増加するという問題がある。
【０００７】
本発明は、このような事情に鑑みて成されたものであり、各画素を識別するための設定用回路の規模が増大することを抑制し、任意の配列を有する撮像素子から出力された画像データの処理に対応可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、１つ以上の基本配列パターンで構成される画素配列を水平方向及び垂直方向に繰り返して複数の画素が配置された撮像素子の前記基本配列パターンを、前記基本配列パターンの画素毎に画素を識別するための画素識別情報を指定して設定する第１の設定手段と、前記画素配列での前記基本配列パターンの配置方法を設定する第２の設定手段と、設定された前記基本配列パターンの配置方法に従って、設定された前記基本配列パターンの前記画素識別情報を読み出して画素識別信号として出力する出力手段と、前記画素識別信号を基に各画素を識別し、前記撮像素子により得られる画像データに前記画素識別信号に応じた処理を行う処理手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像素子の画素配列が複雑化した場合などであっても、各画素を識別するための設定用回路の規模が増大することを抑制し、任意の配列を有する撮像素子から出力された画像データの処理に対応可能な画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理装置としてのデジタルカメラの構成例を示す図である。
【図２】本実施形態におけるＩＤ設定部の構成例を示す図である。
【図３】本実施形態における回転情報及び反転情報の設定と画素配列の対応関係の例を示す図である。
【図４】本実施形態における画素配列設定部の設定方法を説明する図である。
【図５】本実施形態における回転設定回路及び反転設定回路の設定値と画素識別信号出力部による画素識別ＩＤの読み出し方法の関係の例を示す図である。
【図６】第１の実施形態における画素配列設定部の設定例を説明する図である。
【図７】第１の実施形態における画素識別信号の例を示す図である。
【図８】第２の実施形態における処理対象領域の例を説明する図である。
【図９】第２の実施形態における画素識別信号の例を示す図である。
【図１０】第３の実施形態における画素配列設定部の設定例を説明する図である。
【図１１】第３の実施形態における画素識別信号の例を示す図である。
【図１２】第４の実施形態における画素配列設定部の設定例を説明する図である。
【図１３】第４の実施形態における画素識別信号の例を示す図である。
【図１４】第５の実施形態におけるＩＤ設定部の構成例を示す図である。
【図１５】第５の実施形態における撮像素子の画素配列の例を示す図である。
【図１６】第５の実施形態における画像処理装置が有する各処理回路の画素識別信号の処理状態の例を示す図である。
【図１７】第５の実施形態における撮像素子の画素配列の他の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
図１は、本発明の一実施形態に係る画像処理装置としてのデジタルカメラの構成例を示すブロック図である。結像光学部１０１は、レンズや絞り等を含み、フォーカス調節や露出調節を行う。タイミングジェネレータ部１１０は、撮像素子部１０２及びＡ／Ｄ変換部（アナログ−デジタル変換部）１０３を制御するためのタイミング信号を発生する。撮像素子部１０２は、光学像を電気信号に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等の撮像素子で構成される。Ａ／Ｄ変換部１０３は、撮像素子部１０２からのアナログ画像信号をデジタル画像信号に変換する。
【００１３】
ＩＤ設定部１１１は、撮像素子部１０２の具備する撮像素子のカラーフィルタ配列や機能画素配列を設定する。また、ＩＤ設定部１１１は、補正処理部１０４及び画像処理部１０５に対して、処理対象となっている画素を識別するための画素識別情報（例えばＩＤ）を含む画素識別信号を送信する。
【００１４】
補正処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像信号に対して、ＩＤ設定部１１１からの画素識別信号を受信し各画素に対応した各種の補正処理を実施する。補正処理部１０４は、例えば、撮像素子部１０２及びＡ／Ｄ変換部１０３のアナログ特性のばらつき（列アンプの特性ばらつき等）を補正するため、画像信号に対してオフセット補正やゲイン補正を行う。また、補正処理部１０４は、例えば、撮像素子部１０２の傷のある特定画素や補正が必要となる機能画素に対しての補正処理を行う。
【００１５】
画像処理部１０５は、補正処理部１０４から出力された画像信号に対して、ＩＤ設定部１１１からの画素識別信号を受信し各種の画像処理を実施する。画像処理部１０５は、例えば、収差補正処理、偽色除去処理、位相差検出処理、ガンマ処理、補間処理、オフセット処理、ゲイン処理、シェーディング処理、画像の拡大・縮小処理等の処理を画像信号に対して施す。
【００１６】
メモリインターフェース（Ｉ／Ｆ）部１０６は、ＤＲＡＭ等の半導体メモリで構成されたメモリ部１０９との間で、画像処理部１０５で処理された画像データや各種制御データの書き込みや読み出しを行う。制御部１０７は、各種の制御を司る。制御部１０７は、例えばタイミングジェネレータ部１１０に制御タイミング信号を送信する。また、制御部１０７は、例えばＩＤ設定部１１１に対して撮像素子部１０２の画素配列に応じた各種設定を行い、補正処理部１０４及び画像処理部１０５に対しては処理内容に応じた各種設定を行う。表示部１０８は、液晶モニタ等で構成され、例えばリアルタイムで被写体を観察可能なよう画像処理部１０５にて処理された画像データを随時表示する。
【００１７】
図２は、ＩＤ設定部１１１の構成例を示すブロック図である。ＩＤ設定部１１１は、カウンタ部２０１、画素配列設定部２０２、及び画素識別信号出力部２０３を有する。カウンタ部２０１は、ＨＶカウンタ回路２０１１、ＨＶ１カウンタ回路２０１２、及びＨＶ２カウンタ回路２０１３を有する。ＨＶカウンタ回路２０１１、ＨＶ１カウンタ回路２０１２、及びＨＶ２カウンタ回路２０１３のリセット動作やカウント動作の可否は、制御部１０７によって制御される。
【００１８】
ＨＶカウンタ回路２０１１は、Ａ／Ｄ変換部１０３から入力される画素データ信号をカウントし、処理対象の画素に関して画像データにおける水平方向位置及び垂直方向位置を計数する。ＨＶカウンタ回路２０１１には、処理対象となる画像データの水平方向画素サイズＨＳＩＺＥ及び垂直方向画素サイズＶＳＩＺＥが設定される。ＨＶカウンタ回路２０１１は、設定された水平方向画素サイズＨＳＩＺＥ及び垂直方向画素サイズＶＳＩＺＥに応じたカウント動作を行う。
【００１９】
ＨＶ１カウンタ回路２０１２は、基本配列パターン設定回路２０２１から読み出す画素の水平方向位置及び垂直方向位置を計数する。ＨＶ１カウンタ回路２０１２には、基本配列パターンの水平方向画素サイズＨ１及び垂直方向画素サイズＶ１が設定される。ＨＶ１カウンタ回路２０１２は、設定された水平方向画素サイズＨ１及び垂直方向画素サイズＶ１に応じたカウント動作を行う。
【００２０】
ＨＶ２カウンタ回路２０１３は、配列周期設定回路２０２２から読み出す基本配列パターンの水平方向位置及び垂直方向位置を計数する。ＨＶ２カウンタ回路２０１３には、水平方向の基本配列パターンの配置個数Ｈ２及び垂直方向の基本配列パターンの配置個数Ｖ２が設定される。ＨＶ２カウンタ回路２０１３は、設定された水平方向の配置個数Ｈ２及び垂直方向の配置個数Ｖ２に応じたカウント動作を行う。
【００２１】
画素配列設定部２０２は、制御部１０７から送信される撮像素子のカラーフィルタ配列や機能画素配列の情報を設定する。画素配列設定部２０２は、基本配列パターン設定回路２０２１、配列周期設定回路２０２２、回転設定回路２０２３、反転設定回路２０２４、及びマスク設定回路２０２５を有する。基本配列パターン設定回路２０２１、配列周期設定回路２０２２、回転設定回路２０２３、反転設定回路２０２４、及びマスク設定回路２０２５の各々は、例えば設定値を保持するレジスタ回路等で構成される。
【００２２】
基本配列パターン設定回路２０２１には、画素のカラーフィルタ色や機能を識別するためのＩＤ（画素識別ＩＤ）を用いて撮像素子における画素配列の並び順の基礎となる基本配列パターンを設定する。基本配列パターン設定回路２０２１には、水平方向画素サイズＨ１×垂直方向画素サイズＶ１の画素分の画素識別ＩＤを基本配列パターンとして設定する。配列周期設定回路２０２２には、画素配列の繰り返し周期（配列周期）となる基本配列パターンの並べ方（配置方法）の情報を設定する。回転設定回路２０２３には、基本配列パターンの回転角度（本例では右回りの方向）の情報を設定する。反転設定回路２０２４には、基本配列パターンの反転方法の情報を設定する。なお、各設定回路には、基本配列パターン及びその他の情報について、カラーフィルタ配列と機能画素配列毎に別々の設定を行うことが可能である。
【００２３】
マスク設定回路２０２５には、画像データ端部の処理において、基本配列パターンを並べた配列周期の内、処理対象とならない画素識別ＩＤが存在する場合に、マスク処理を行い画素識別ＩＤの読み出しを行わないマスク処理対象の画素数を設定する。マスク設定回路２０２５には、基本配列パターンを並べた配列周期の内、左端、右端、上端、下端でマスク処理対象となる画素数をそれぞれ設定値ＨＭＳＫ１、ＨＭＳＫ２、ＶＭＳＫ１、ＶＭＳＫ２で設定する。
【００２４】
回転設定回路２０２３及び反転設定回路２０２４に設定する情報について、図３を参照し説明する。図３は、本実施形態における回転情報及び反転情報の設定と画素配列の対応関係の例を示す図である。図３においては、撮像素子が図３（ａ）に示す記号Ａ〜Ｉの画素識別ＩＤから構成される３×３画素の画素配列の基本配列パターンを持つ場合を例に説明する。
【００２５】
図３（ｂ）のように基本配列パターンを右回りに角度９０°回転させた画素配列である場合、回転設定回路２０２３の該当する領域に設定値“１”を設定する。図３（ｃ）のように基本配列パターンを右回りに角度１８０°回転させた画素配列である場合、回転設定回路２０２３の該当する領域に設定値“２”を設定する。図３（ｄ）のように基本配列パターンを右回りに角度２７０°回転させた画素配列である場合、回転設定回路２０２３の該当する領域に設定値“３”を設定する。なお、回転させない（角度０°）場合、回転設定回路２０２３の該当する領域には設定値“０”を設定する。
【００２６】
また、図３（ｅ）のように基本配列パターンを左右に反転させた画素配列である場合、反転設定回路２０２４の該当する領域に設定値“１”を設定する。図３（ｆ）のように基本配列パターンを上下に反転させた画素配列である場合、反転設定回路２０２４の該当する領域に設定値“２”を設定する。図３（ｇ）のように基本配列パターンを右下斜め方向の対角線に対して反転させた画素配列である場合、反転設定回路２０２４の該当する領域に設定値“３”を設定する。図３（ｈ）のように基本配列パターンを左下斜め方向の対角線に対して反転させた画素配列である場合、反転設定回路２０２４の該当する領域に設定値“４”を設定する。なお、反転させない場合、反転設定回路２０２４の該当する領域には設定値“０”を設定する。
【００２７】
次に、図４を参照して、基本配列パターン設定回路２０２１、配列周期設定回路２０２２、回転設定回路２０２３、反転設定回路２０２４、及びマスク設定回路２０２５の設定例について説明する。図４は、本実施形態における画素配列設定部２０２の設定方法を説明するための図である。図４（ａ）に示される６×６画素を単位として、それが縦横に繰り返し配置される配列周期を有する撮像素子についての設定例を説明する。３×３画素の領域４０２、４０３、４０４の画素配列は、領域４０１の画素配列を各々、右回りに角度９０°回転、右下斜め方向の対角線に対して反転、上下に反転させたものである。
【００２８】
基本配列パターンとして、図４（ｂ）のような３×３画素から成る画素配列（図４（ａ）に示される領域４０１の画素配列）を、画素毎に画素識別情報（画素識別ＩＤ）を指定して基本配列パターン設定回路２０２１に設定する。次に、基本配列パターンの配置情報として、図４（ｃ）のように縦横２個ずつ合計４個の基本配列パターンを指定する設定値を配列周期設定回路２０２２に設定する。ここで、図４（ｂ）に示される基本配列パターンを指定する設定値を“０”としている。
【００２９】
回転情報として、図４（ｄ）のように、右回りに角度９０°回転させた画素配列であることを示す設定値“１”を回転設定回路２０２３の領域４０２に該当する箇所に設定する。回転設定回路２０２３の領域４０１、４０３、４０４に該当する箇所には設定値“０”を設定する。また、反転情報として、図４（ｅ）のように、右下斜め方向の対角線に対して反転させた画素配列であることを示す設定値“３”を反転設定回路２０２４の領域４０３に該当する箇所に設定する。また、上下に反転させた画素配列であることを示す設定値“２”を反転設定回路２０２４の領域４０４に該当する箇所に設定する。反転設定回路２０２４の領域４０１、４０２に該当する箇所には設定値“０”を設定する。
【００３０】
画像データ端部において、左端及び上端では図４（ｆ）に示すように、右端及び下端では図４（ｇ）に示すように、それぞれ白色表記の画素領域が処理対象となり、灰色表記の画素領域がデータ処理対象外（マスク処理対象）となるとする。すなわち、処理対象となる画像データの左上（開始）画素が、図４（ｆ）において領域４０２の画素識別ＩＤ“Ｆ”で示される画素となり、画像データの左端部には４画素分、上端部には２画素分の処理対象外のマスク処理画素が存在する設定となる。同様に、処理対象となる画像データの右下（終了）画素が、図４（ｇ）において領域４０４の画素識別ＩＤ“Ｈ”で示される画素となり、画像データの右端部には１画素分、下端部には２画素分の処理対象外のマスク処理画素が存在する設定となる。この場合、マスク設定回路２０２５には、設定値として各々ＨＭＳＫ１＝４、ＶＭＳＫ１＝２、ＨＭＳＫ２＝１、ＶＭＳＫ＝２を設定する。マスク処理対象にあたる画素識別ＩＤは、画像データの左端部、上端部、右端部、下端部の処理時に読み出さない。
【００３１】
図２に戻り、画素識別信号出力部２０３は、カウンタ部２０１からのカウント値の情報及び画素配列設定部２０２から読み出した画素識別ＩＤを基に画素識別信号を出力する。画素識別信号出力部２０３は、カラーＩＤ信号出力回路２０３１及び機能画素ＩＤ信号出力回路２０３２を有する。カラーＩＤ信号出力回路２０３１は、画素識別ＩＤの内、カラーフィルタの配列情報をカラーＩＤによる画素識別信号として出力する。機能画素ＩＤ信号出力回路２０３２は、画素識別ＩＤの内、機能画素の配列情報を機能画素ＩＤによる画素識別信号として出力する。各画素識別ＩＤの情報は、画素識別信号として後段の補正処理部２０４や画像処理部２０５に送信する。
【００３２】
ここで、画素識別信号出力部２０３の画素配列設定部２０２からの画素識別ＩＤの読み出し方法について、図５を参照し説明する。図５は、本実施形態における回転設定回路２０２３及び反転設定回路２０２４の設定値と画素識別ＩＤの読み出し方法の関係の例を示す図である。図５において、矢印は基本配列パターンに設定されている画素識別ＩＤを読み出す方向を示しており、矢印番号＜１＞、＜２＞、＜３＞は撮像素子の水平方向の同一ライン上で読み出す画素を示している。
【００３３】
基本配列パターン設定回路２０２１から読み出す画素識別ＩＤの個数は、ＨＶ１カウンタ回路２０１２に設定された水平方向画素サイズＨ１となる。Ｈ１個分の画素識別ＩＤの読み出しが完了した後、ＨＶ１カウンタ回路２０１２のカウント値が０にリセットされ、再度カウントされる。このようにＨＶ１カウンタ回路２０１２のカウント値に同期して基本配列パターン設定回路２０２１から繰り返し画素識別ＩＤの読み出しが実行される。
【００３４】
図４（ａ）に示した配列周期を例に説明すると、１ライン目を読み出す場合、Ａ、Ｂ、Ｃ、Ｇ、Ｄ、Ａ、…の画素識別ＩＤが読み出される。これは、図５（ａ）に示す矢印番号＜１＞、及び図５（ｂ）に示す矢印番号＜１＞に従って基本配列パターンの画素識別ＩＤを繰り返し読み出すことで実現する。２ライン目のＤ、Ｅ、Ｆ、Ｈ、Ｅ、Ｂ、…の画素識別ＩＤは、図５（ａ）に示す矢印番号＜２＞、及び図５（ｂ）に示す矢印番号＜２＞に従って基本配列パターンの画素識別ＩＤを繰り返し読み出すことで実現する。３ライン目のＧ、Ｈ、Ｉ、Ｉ、Ｆ、Ｃ、…の画素識別ＩＤは、図５（ａ）に示す矢印番号＜３＞、及び図５（ｂ）に示す矢印番号＜３＞に従って基本配列パターンの画素識別ＩＤを繰り返し読み出すことで実現する。
【００３５】
続く４ライン目のＡ、Ｄ、Ｇ、Ｇ、Ｈ、Ｉ、…の画素識別ＩＤは、図５（ｇ）に示す矢印番号＜１＞、及び図５（ｆ）に示す矢印番号＜１＞に従って基本配列パターンの画素識別ＩＤを繰り返し読み出すことで実現する。５ライン目のＢ、Ｅ、Ｈ、Ｄ、Ｅ、Ｆ、…の画素識別ＩＤは、図５（ｇ）に示す矢印番号＜２＞、及び図５（ｆ）に示す矢印番号＜２＞に従って基本配列パターンの画素識別ＩＤを繰り返し読み出すことで実現する。６ライン目のＣ、Ｆ、Ｉ、Ａ、Ｂ、Ｃ、…の画素識別ＩＤは、図５（ｇ）に示す矢印番号＜３＞、図５（ｆ）に示す矢印番号＜３＞に従って基本配列パターンの画素識別ＩＤを繰り返し読み出すことで実現する。
【００３６】
次のラインの画素識別ＩＤは、画素配列の周期性により１ライン目に戻り、Ａ、Ｂ、Ｃ、Ｇ、Ｄ、Ａ、…の画素識別ＩＤが読み出される。なお、ＩＤ設定部１１１内部の動作ついては後述する。画素識別信号出力部２０３は、カウンタ部２０１からのカウント値を参照して画像データの左端部、上端部、右端部、下端部の処理時には、マスク処理対象に設定されている画素識別ＩＤの読み出しを行わない。
【００３７】
（第１の実施形態）
以下、本発明の第１の実施形態における画像処理装置での処理について説明する。図６は、第１の実施形態における画像処理装置が有する画素配列設定部２０２に対する設定の例を説明するための図である。図６（ａ）は、第１の実施形態における画像処理装置が有する撮像素子の画素配列を説明するための図である。図６（ａ）において実線で囲まれる領域６０１の６×６画素を単位とした配列周期を持った赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが撮像素子に配置されている。画素配列周期は同時化処理等の際に参照される画素の範囲となる。以下、図６（ａ）に示す画素配列に対応した画素配列設定部２０２の各設定回路に対する設定内容について説明する。
【００３８】
図６（ｂ）は、第１の実施形態における基本配列パターン設定回路２０２１の設定内容を示す図である。図６（ａ）において実線で囲まれる領域６０１の６×６画素を単位とした配列周期は、破線で囲まれる領域６０２の３×３画素の画素配列と、その画素配列を右回りに角度９０°回転させた画素配列とを、縦横に２個ずつ計４個を並べた画素配列となっている。そこで、基本配列パターンとして、図６（ａ）において破線で囲まれる領域６０２の３×３画素内の画素識別ＩＤを基本配列パターン設定回路２０２１に設定する。各画素識別ＩＤは、カラーフィルタ色に対応したＧ画素＝０、Ｂ画素＝１、Ｒ画素＝２をカラーＩＤとして設定し、破線で囲まれる領域６０２の３×３画素の画素配列の並びとなるように図６（ｂ）のように設定を行う。また、ＨＶ１カウンタ回路２０１２に、基本配列パターンの水平方向画素サイズＨ１＝３及び垂直方向画素サイズＶ１＝３を設定する。
【００３９】
図６（ｃ）は、第１の実施形態における配列周期設定回路２０２２の設定内容を示す図である。図６（ａ）に示す領域６０１の６×６画素の配列周期は、回転や反転を考慮しない場合、基本配列パターンを縦横に２個ずつ並べた配列である。基本配列パターン設定回路２０２１に設定した図６（ｂ）に示す基本配列パターンを指定する設定値を“１”として、配列周期設定回路２０２２の設定は、図６（ｃ）のようになる。また、ＨＶ２カウンタ回路２０１３に、水平方向の基本配列パターンの配置個数Ｈ２＝２及び垂直方向の基本配列パターンの配置個数Ｖ２＝２を設定する。
【００４０】
図６（ｄ）は、第１の実施形態における回転設定回路２０２３の設定内容を示す図である。回転設定回路２０２３には、基本配列パターンを回転させる回転情報の値として前述の通り、右回りに角度０°＝０、右回りに角度９０°＝１、右回りに角度１８０°＝２、右回りに角度２７０°＝３を設定する。図６（ａ）に示す画素配列において、領域６０１内で右上及び左下の基本配列パターンが右回りに角度９０°回転させた形状である。したがって、図（ｄ）のように右上及び左下の領域に該当する回転設定回路２０２３の箇所には設定値“１”を設定し、その他の領域に該当する箇所には設定値“０”を設定する。
【００４１】
図６（ｅ）は、第１の実施形態における反転設定回路２０２４の設定内容を示す図である。反転設定回路２０２４には、基本配列パターンの反転情報の値として前述の通り、反転なし＝０、左右反転＝１、上下反転＝２、右下対角線反転＝３、左下対角線反転＝４を設定する。図６（ａ）に示す画素配列において、特に基本配列パターンを反転させた画素配列がないため、図６（ｄ）のように反転設定回路２０２４にはすべて設定値“０”を設定する。以上、図６（ａ）に示される画素配列に対する画素配列設定部２０２に対する設定内容となる。
【００４２】
次に、画素識別信号出力部２０３のカラーＩＤ信号出力回路２０３１の動作について説明する。図７は、第１の実施形態における画像処理装置が有する画素識別信号出力部２０３からの画素識別信号の例を示す図である。本実施形態では、水平方向画素サイズが７２０画素、垂直方向画素サイズが５４０画素の画像データを処理し、図６（ａ）に示した領域６０１内の左上隅の画素が画像データの開始画素となる場合を例として示す。このとき、ＨＶカウンタ回路２０１１に、画像データの水平方向画素サイズＨＳＩＺＥ＝７２０及び垂直方向画素サイズＶＳＩＺＥ＝５４０を設定する。なお、画像データの処理を開始する前に、カウンタ部２０１内の全カウンタ回路のカウント値をリセットする。
【００４３】
図７には、画像データの１ライン目から５４０ライン目までを処理する際に、カラーＩＤ信号出力回路２０３１で画素配列設定部２０２から読み出される画素識別ＩＤ（カラーＩＤ）の信号を示している。図７に示す例では、図６に示したような各種情報が、画素配列設定部２０２の各設定回路に対して設定されているものとする。図７においては、画像データのライン番号を左部に表記し、その隣に画素識別ＩＤが読み出される図６（ａ）に示した６×６画素の領域６０１での配列周期のライン番号を表記する。
【００４４】
図７に示す１ライン目のＩＤ群７１０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。続く１ライン目のＩＤ群７１１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。各ＩＤ群での画素識別ＩＤの読み出しは、ＨＶ１カウンタ回路２０１２に設定された水平方向画素サイズＨ１＝３まで画素の水平方向位置を計数するカウント値に同期して行われる。
【００４５】
以降、１ライン目は、ＨＶ２カウンタ回路２０１３に設定された水平方向の基本配列パターンの配置個数Ｈ２＝２まで基本配列パターンの水平方向位置を計数するカウント値に同期して、ＩＤ群７１０及び７１１の画素識別ＩＤの読み出しを繰り返す。ＨＶカウンタ回路２０１１に設定された画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで処理対象画素の水平方向位置を計数するカウント値が達したら、カウント値をリセットして、次のラインの画素識別ＩＤの出力に移行する。
【００４６】
図７に示す２ライン目のＩＤ群７２０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。続く２ライン目のＩＤ群７２１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。以降、２ライン目は、１ライン目と同様にＩＤ群７２０及び７２１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００４７】
図７に示す３ライン目のＩＤ群７３０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。続く３ライン目のＩＤ群７３１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。以降、３ライン目は、１ライン目と同様にＩＤ群７３０及び７３１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００４８】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝３まで読み出し画素の垂直方向位置を計数するカウント値と同期して各ラインの読み出しを行い、３ライン分（１〜３ライン目）の画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２のカウント値がリセットされ、次のライン（４ライン目）では再び矢印番号＜１＞の通りに基本配列パターンの画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「１」になる。
【００４９】
図７に示す４ライン目のＩＤ群７４０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。続く４ライン目のＩＤ群７４１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。以降、４ライン目は、１ライン目と同様にＩＤ群７４０及び７４１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００５０】
図７に示す５ライン目のＩＤ群７５０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。続く５ライン目のＩＤ群７５１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。以降、５ライン目は、１ライン目と同様にＩＤ群７５０及び７５１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００５１】
図７に示す６ライン目のＩＤ群７６０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。続く６ライン目のＩＤ群７６１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。以降、６ライン目は、１ライン目と同様にＩＤ群７６０及び７６１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００５２】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝３まで読み出し画素の垂直方向位置を計数するカウント値と同期して各ラインの読み出しを行い、３ライン分（４〜６ライン目）の画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２のカウント値がリセットされ、次のライン（７ライン目）では再び矢印番号＜１＞の通りに基本配列パターンの画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「２」となる。
【００５３】
ＨＶ２カウンタ回路２０１３に設定された垂直方向の基本配列パターンの配置個数Ｖ２＝２まで基本配列パターンの垂直方向位置を計数するカウント値が達する。７ライン目以降の画素識別ＩＤの出力は、基本配列パターンを垂直方向に２回読み出した６ライン分（１〜６ライン目）を繰り返す。以降、ＨＶカウンタ回路２０１１に設定された画像データの垂直方向画素サイズＶＳＩＺＥ＝５４０まで処理対象画素の垂直方向画素位置を計数するカウント値が達し、最終ラインに該当する５４０ライン目の画素識別ＩＤの出力が終わるまで繰り返す。
【００５４】
画素識別信号出力部２０３から出力される画素識別信号は、補正処理部１０４及び画像処理部１０５に入力され、補正処理部１０４及び画像処理部１０５のそれぞれ内部で各画素識別ＩＤに応じた処理が実行される。例えば、画像処理部１０５は、画素識別ＩＤ（カラーＩＤ）に応じてゲイン処理を行い、各カラーフィルタ色に応じたゲイン値を入力画素値信号に乗じた画素値を出力する。
【００５５】
なお、本実施形態では、基本配列パターンの水平方向画素サイズＨ１及び垂直方向画素サイズＶ１に同じ値「３」を設定しているが、これに限定されるものではなく、その他の画素サイズの基本配列パターンにも適応可能である。また、基本配列パターン設定回路２０２１内で、基本配列パターンの画素サイズに応じて使用するレジスタ回路を可変することで、多種な画素サイズの基本配列パターンに対応可能である。
【００５６】
また、基本配列パターンの水平方向画素サイズＨ１と垂直方向画素サイズＶ１を異なる値にすることも可能である。ただし、基本配列パターンの水平方向画素サイズＨ１と垂直方向画素サイズＶ１が異なる場合、基本配列パターンの回転や反転によっては基本配列パターンを隙間なく並べることができないことがある。そのため、例えば、回転設定回路２０２３に設定可能な値は、右回り角度０°の回転及び右回り角度１８０°回転に制限されたり、反転設定回路２０２４に設定可能な値は、左右反転及び上下反転に制限されたりする。
【００５７】
（第２の実施形態）
以下、本発明の第２の実施形態における画像処理装置での処理について説明する。前述した第１の実施形態では、処理対象となる画像データの水平方向画素サイズ及び垂直方向画素サイズが配列周期の画素数の整数倍であり、かつ配列周期の画素配列での左上隅の画素が処理開始位置となる配列周期の規則性に対し区切りが良い例を示した。第２の実施形態では、画像データ端部の処理時に、基本配列パターンを並べた配列周期の内、画像データの領域から外れ、マスク処理が必要となる画素識別ＩＤが存在する場合の動作について説明する。
【００５８】
図８には、前述した第１の実施形態における画像処理装置が有する撮像素子の画素配列の一部を画素識別ＩＤ（カラーＩＤ）を用いて示している。なお、本実施形態における画像処理装置が有する撮像素子の画素配列は、第１の実施形態における画像処理装置が有する撮像素子の画素配列と同様である。図８において、白色表記の領域がマスク処理対象外の領域であり、灰色表記の領域８０２、８０３がマスク処理対象の領域である。
【００５９】
図８に示す例では、配列周期に対して画像データの左端には２画素分、画像データの上端には１画素分、画像データの右端には４画素分、画像データの下端には２画素分のマスク処理対象の領域が存在する。この例の場合、マスク設定回路２０２５には、設定値として各々ＨＭＳＫ１＝２、ＶＭＳＫ１＝１、ＨＭＳＫ２＝４、ＶＭＳＫ２＝２を設定する。なお、基本配列パターン設定回路２０２１、配列周期設定回路２０２２、回転設定回路２０２３、及び反転設定回路２０２４の設定内容は、図６（ｂ）〜図６（ｅ）に示される第１の実施形態の設定と同様に行う。
【００６０】
図９は、第２の実施形態における画像処理装置が有する画素識別信号出力部２０３からの画素識別信号の例を示す図である。本実施形態では、水平方向画素サイズが７１４画素、垂直方向画素サイズが５３７画素の画像データを処理し、図６（ａ）に示した領域６０２内の右端側のＲ画素が画像データの開始画素となる場合を例として示す。このとき、ＨＶカウンタ回路２０１１に、画像データの水平方向画素サイズＨＳＩＺＥ＝７１４及び垂直方向画素サイズＶＳＩＺＥ＝５３７を設定する。
【００６１】
なお、画像データの処理を開始する前に、カウンタ部２０１内の全カウンタ回路のカウント値をリセットする。マスク設定回路２０２５のＨＭＳＫ１＝２、ＶＭＳＫ１＝１の設定により、ＨＶ１カウンタ回路２０１２の水平方向位置を計数するカウント値を「２」に、垂直方向位置を計数するカウント値を「１」にそれぞれセットする。
【００６２】
図９には、画像データの１ライン目から５３７ライン目までを処理する際に、カラーＩＤ信号出力回路２０３１で画素配列設定部２０２から読み出される画素識別ＩＤの信号を示している。図９においては、画像データのライン番号を左部に表記し、その隣に画素識別ＩＤが読み出される図８に示した６×６画素の領域８０１での配列周期のライン番号を表記する。
【００６３】
図９において、枠内が白色表記の画素識別ＩＤは、画素識別信号出力部２０３から出力される信号で、枠内が灰色表記の画素識別ＩＤは、マスク処理対象となり画素識別信号出力部２０３から出力されない信号である。画素識別信号出力部２０３のカラーＩＤ信号出力回路２０３１の基本的な動作は、マスク処理動作以外は前述した第１の実施形態における動作と同様である。
【００６４】
処理の開始時において、前述したようにマスク設定回路２０２５の設定値ＶＭＳＫ＝１により、ＨＶ１カウンタ回路２０１２の垂直方向位置を計数するカウント値が「１」に設定されている。そのため、カラーＩＤ信号出力回路２０３１は、図８の領域８０１で示される配列周期の１ライン目の画素識別ＩＤを読み出さずに、配列周期の２ライン目から画素識別ＩＤの出力を開始する。
【００６５】
したがって、図９に示す画像データの１ライン目のＩＤ群９１０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ａ）の矢印番号＜２＞の通りに読み出した画素識別ＩＤである。ただし、マスク設定回路２０２５の設定値ＨＭＳＫ１＝２の設定により、リセット時にＨＶ１カウンタ回路２０１２の水平方向位置を計数するカウント値が「２」にセットされている。そのため、カラーＩＤ信号出力回路２０３１は、ＩＤ群９１０の先頭２画素分の画素識別ＩＤは読み出さずに、３画素目の画素識別ＩＤから出力を開始する。
【００６６】
続く、画像データの１ライン目のＩＤ群９１１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ｂ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。これらの画素識別ＩＤは、ＨＶ１カウンタ回路２０１２に設定された水平方向画素サイズＨ１＝３まで画素の水平方向位置を計数するカウント値に同期して読み出しが行われる。
【００６７】
以降、１ライン目は、ＨＶ２カウンタ回路２０１３に設定された水平方向の基本配列パターンの配置個数Ｈ２＝２まで基本配列パターンの水平方向位置を計数するカウント値に同期して、ＩＤ群９１０及び９１１の画素識別ＩＤを繰り返す。ＨＶカウンタ回路２０１１に設定された画像データの水平方向画素サイズＨＳＩＺＥ＝７１４まで処理対象画素の水平方向位置を計数するカウント値が達したら、カウント値をリセットして、次のラインの画素識別ＩＤの出力に移行する。同時に、マスク設定回路２０２５の設定値ＨＭＳＫ２＝４の設定により、ＨＶ１カウンタ回路２０１２の水平方向位置を計数するカウント値を４つ分インクリメントする。これにより、ＨＶ１カウンタ回路２０１２及びＨＶ２カウンタ回路２０１３の水平方向位置を計数するカウント値をリセットする。
【００６８】
図９に示す画像データの２ライン目のＩＤ群９２０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ａ）の矢印番号＜３＞の通りに読み出した画素識別ＩＤである。ただし、マスク設定回路２０２５の設定値ＨＭＳＫ１＝２の設定により、３画素目の画素識別ＩＤから出力が開始される。続く画像データの２ライン目のＩＤ群９２１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ｂ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。以降２ライン目は、１ライン目と同様にＩＤ群９２０及び９２１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７１４まで繰り返す。
【００６９】
２ライン目の画素識別ＩＤの出力完了後、１ライン目と同様にマスク設定回路２０２５の設定値ＨＭＳＫ２＝４の設定により、ＨＶ１カウンタ回路２０１２の水平方向位置を計数するカウント値を４つ分インクリメントする。これにより、ＨＶ１カウンタ回路２０１２及びＨＶ２カウンタ回路２０１３の水平方向位置を計数するカウント値をリセットして、２ライン目の処理を完了する。
【００７０】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝３まで垂直方向画素位置を計数するカウント値が達し、垂直方向位置を計数するカウント値と同期しての各ラインの画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２の垂直方向位置を計数するカウント値がリセットされて「０」になり、次のライン（画像データの３ライン目）からは矢印番号＜１＞の通りに基本配列パターンの画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「１」になる。
【００７１】
図９に示す画像データの３ライン目のＩＤ群９３０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ｂ）の矢印番号＜１＞の通りに読み出した画素識別ＩＤである。ただし、マスク設定回路２０２５の設定値ＨＭＳＫ１＝２の設定により、３画素目の画素識別ＩＤから出力が開始される。続く画像データの３ライン目のＩＤ群９３１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ａ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。以降、３ライン目は、１ライン目と同様にＩＤ群９３０及び９３１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７１４まで繰り返す。３ライン目の画素識別ＩＤの出力完了後、１ライン目と同様にして、ＨＶ１カウンタ回路２０１２及びＨＶ２カウンタ回路２０１３の水平方向位置を計数するカウント値をリセットして、３ライン目の処理を完了する。
【００７２】
図９に示す画像データの４ライン目のＩＤ群９４０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ｂ）の矢印番号＜２＞の通りに読み出した画素識別ＩＤである。ただし、マスク設定回路２０２５の設定値ＨＭＳＫ１＝２の設定により、３画素目の画素識別ＩＤから出力が開始される。続く画像データの４ライン目のＩＤ群９４１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ａ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。以降、４ライン目は、１ライン目と同様にＩＤ群９４０及び９４１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７１４まで繰り返す。４ライン目の画素識別ＩＤの出力完了後、１ライン目と同様にして、ＨＶ１カウンタ回路２０１２及びＨＶ２カウンタ回路２０１３の水平方向位置を計数するカウント値をリセットして、４ライン目の処理を完了する。
【００７３】
図９に示す画像データの５ライン目のＩＤ群９５０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ｂ）の矢印番号＜３＞の通りに読み出した画素識別ＩＤである。ただし、マスク設定回路２０２５の設定値ＨＭＳＫ１＝２の設定により、３画素目の画素識別ＩＤから出力が開始される。続く画像データの５ライン目のＩＤ群９５１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ａ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。以降、５ライン目は、１ライン目と同様にＩＤ群９５０及び９５１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７１４まで繰り返す。５ライン目の画素識別ＩＤの出力完了後、１ライン目と同様にして、ＨＶ１カウンタ回路２０１２及びＨＶ２カウンタ回路２０１３の水平方向位置を計数するカウント値をリセットして、５ライン目の処理を完了する。
【００７４】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝３まで読み出し画素の垂直方向位置を計数するカウント値と同期して各ラインの読み出しを行い、３ライン分（３〜５ライン目）の画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２のカウント値がリセットされて「０」になり、次のライン（画像データの６ライン目）からは矢印番号＜１＞の通りに基本配列パターンの画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「２」となり、設定された垂直方向の基本配列パターンの配置個数Ｖ２＝２までカウント値が達し、リセットされる。
【００７５】
図９に示す画像データの６ライン目のＩＤ群９６０は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ａ）の矢印番号＜１＞の通りに読み出した画素識別ＩＤである。ただし、マスク設定回路２０２５の設定値ＨＭＳＫ１＝２の設定により、３画素目の画素識別ＩＤから出力が開始される。続く画像データの６ライン目のＩＤ群９６１は、基本配列パターン設定回路２０２１に設定された基本配列パターンを、図５（ｂ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。以降、６ライン目は、１ライン目と同様にＩＤ群９６０及び９６１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７１４まで繰り返す。６ライン目の画素識別ＩＤの出力完了後、１ライン目と同様にして、ＨＶ１カウンタ回路２０１２及びＨＶ２カウンタ回路２０１３の水平方向位置を計数するカウント値をリセットして、６ライン目の処理を完了する。
【００７６】
画像データの７ライン目以降の画素識別ＩＤの出力は、６ライン分（画像データの１〜６ライン目）の読み出し動作を繰り返す。以降、ＨＶカウンタ回路２０１１に設定された画像データの垂直方向画素サイズＶＳＩＺＥ＝５３７まで処理対象画素の垂直方向画素位置を計数するカウント値が達し、最終ラインに該当する５３７ライン目の画素識別ＩＤの出力が終わるまで繰り返す。全ラインの画素識別ＩＤの出力完了後、マスク設定回路２０２５の設定値ＶＭＳＫ２＝２の設定により、ＨＶ１カウンタ回路２０１２の垂直方向位置を計数するカウント値を２つ分インクリメントする。これにより、ＨＶ１カウンタ回路２０１２の垂直方向位置を計数するカウント値が、設定された垂直方向画素サイズＶ１＝３に達しカウント値がリセットされる。また、同様にＨＶ２カウンタ回路２０１３の垂直方向位置を計数するカウント値もリセットされ、画素識別ＩＤの出力処理が完了する。
【００７７】
前述した方法以外に画素識別ＩＤのマスク処理を実行する方法として、通常（画像データの端部以外）の基本配列パターンとは画素サイズの異なる端部専用の基本配列パターンを基本配列パターン設定回路２０２１に設定するようにしても良い。そして、画像データの端部の画像処理時のみ、端部専用の基本配列パターンの画素識別ＩＤを読み出す構成も可能である。
【００７８】
（第３の実施形態）
以下、本発明の第３の実施形態における画像処理装置での処理について説明する。前述した第１及び第２の実施形態では、基本配列パターン設定回路２０２１に対して１種類の基本配列パターンのみを設定していたが、第３の実施形態では、複数種類の基本配列パターンを設定する場合の動作について説明する。
【００７９】
図１０は、第３の実施形態における画像処理装置が有する画素配列設定部２０２に対する設定の例を説明するための図である。図１０（ａ）は、第３の実施形態における画像処理装置が有する撮像素子の画素配列を説明するための図である。本実施形態における撮像素子は、画素として一部の緑色（Ｇ）のカラーフィルタを有する画素にオートフォーカス（ＡＦ：Auto Focus）処理時のデフォーカス量測定を目的とする位相差検出用画素を有する。
【００８０】
位相差検出用画素は、フォトダイオード受光面が通常画素の片側半分の構成となっており、片側半分の受光面を左側と右側とにそれぞれ寄せた画素により瞳分離をすることで異なる像を取得する。ここで、片側半分の受光面を左側に寄せた画素をＡ像用画素と呼び、片側半分の受光面を右側に寄せた画素をＢ像用画素と呼ぶ。複数配置されたＡ像用画素及びＢ像用画素の位相差検出用画素で取得されたＡ像及びＢ像の集合を波形として取得する。Ａ像、Ｂ像に入る光は、ピントが合っている状態ではＡ像とＢ像の取得波形が一致し、逆にピントが合っていない状態ではＡ像とＢ像の取得波形間に位相差が発生する。この位相差からデフォーカス量を算出し、オートフォーカスを実現する。
【００８１】
図１０（ａ）において、画素１００１がＡ像用のＧ画素であり、画素１００２がＢ像用のＧ画素である。本実施形態における撮像素子には、図１０（ａ）に示す１２×１２画素を単位とした配列周期を持ったカラーフィルタが繰り返し配置されている。以下、図１０（ａ）に示す画素配列に対応した画素配列設定部２０２の各設定回路に対する設定内容について説明する。
【００８２】
図１０（ｂ）は、第３の実施形態における基本配列パターン設定回路２０２１の設定内容を示す図である。図１０（ａ）に示す１２×１２画素を単位とした配列周期は、破線で囲まれる領域１０１１の３×３画素の画素配列１２個、破線で囲まれる領域１０１２の３×３画素の画素配列２個、破線で囲まれる領域１０１３の３×３画素の画素配列２個で構成される。領域１０１１の３×３画素の画素配列１２個の内の６個は右回りに角度９０°回転させた画素配列であり、領域１０１２及び領域１０１３のそれぞれの３×３画素の画素配列２個の内の１個は右下斜め方向の対角線に対して反転させた画素配列である。
【００８３】
領域１０１１、１０１２、１０１３の３×３画素の画素配列は、画素毎に画素識別ＩＤを設定し、それぞれ基本配列パターンＡ、Ｂ、Ｃとして基本配列パターン設定回路２０２１に設定する。各画素識別ＩＤは、通常のＧ画素＝０、Ｂ画素＝１、Ｒ画素＝２、Ａ像用のＧ画素＝８、Ｂ像用のＧ画素＝９として設定し、破線で囲まれる領域１０１１、１０１２、１０１３の３×３画素の画素配列の並びになるように図１０（ｂ）のように設定を行う。また、ＨＶ１カウンタ回路２０１２に、基本配列パターンの水平方向画素サイズＨ１＝３及び垂直方向画素サイズＶ１＝３を設定する。
【００８４】
図１０（ｃ）は、第３の実施形態における配列周期設定回路２０２２の設定内容を示す図である。基本配列パターン設定回路２０２１に設定した図１０（ｂ）に示す基本配列パターンＡ、Ｂ、Ｃを指定する設定値を各々“０”、“１”、“２”として、図１０（ｃ）のように配列周期設定回路２０２２に設定する。図１０（ａ）に示す１２×１２画素の配列周期において、回転を考慮しない場合、基本配列パターンＡは、図１０（ｃ）のように１２個並べた配列である。また、反転を考慮しない場合、基本配列パターンＢ、Ｃは、図１０（ｃ）のように右上部、左下部に１個ずつ並べた配列である。また、ＨＶ２カウンタ回路２０１３に、水平方向の基本配列パターンの配置個数Ｈ２＝４及び垂直方向の基本配列パターンの配置個数Ｖ２＝４を設定する。
【００８５】
図１０（ｄ）は、第３の実施形態における回転設定回路２０２３の設定内容を示す図である。回転設定回路２０２３には、基本配列パターンを回転させる回転情報の値として前述の通り、右回りに角度０°＝０、右回りに角度９０°＝１、右回りに角度１８０°＝２、右回りに角度２７０°＝３を設定する。図１０（ａ）に示す画素配列においては基本配列パターンＡを右回りに角度９０°回転させた形状が６個あるため、図１０（ｄ）のように回転設定回路２０２３の該当する箇所には設定値“１”を設定し、その他の箇所には設定値“０”を設定する。
【００８６】
図１０（ｅ）は、第３の実施形態における反転設定回路２０２４の設定内容を示す図である。反転設定回路２０２４には、基本配列パターンの反転情報の値として前述の通り、反転なし＝０、左右反転＝１、上下反転＝２、右下対角線反転＝３、左下対角線反転＝４を設定する。図１０（ａ）に示す画素配列においては基本配列パターンＢ、Ｃを各々１個ずつ右下対角線反転させた形状があるため、図１０（ｅ）のように反転設定回路２０２４の該当する箇所には設定値“３”を設定し、その他の箇所には設定値“０”を設定する。以上、図１０（ａ）に示される画素配列に対する画素配列設定部２０２に対する設定内容となる。
【００８７】
次に、画素識別信号出力部２０３のカラーＩＤ信号出力回路２０３１の動作について説明する。図１１は、第３の実施形態における画像処理装置が有する画素識別信号出力部２０３からの画素識別信号の例を示す図である。本実施形態では、水平方向画素サイズが７２０画素、垂直方向画素サイズが５４０画素の画像データを処理し、図１０（ａ）に示した領域１０１１内の左上隅の画素が画像データの開始画素となる場合を例として示す。このとき、ＨＶカウンタ回路２０１１に、画像データの水平方向画素サイズＨＳＩＺＥ＝７２０及び垂直方向画素サイズＶＳＩＺＥ＝５４０を設定する。したがって、本実施形態では、画像データの画素サイズが水平方向及び垂直方向とも配列周期の画素数の整数倍となるので、マスク処理の設定は不要となる。なお、画像データの処理を開始する前に、カウンタ部２０１内の全カウンタ回路のカウント値をリセットする。
【００８８】
図１１には、画像データの１ライン目から５４０ライン目までを処理する際に、カラーＩＤ信号出力回路２０３１で画素配列設定部２０２から読み出される画素識別ＩＤの信号を示している。図１１に示す例では、図１０に示したような各種情報が、画素配列設定部２０２の各設定回路に対して設定されているものとする。図１１においては、画像データのライン番号を左部に表記し、その隣に画素識別ＩＤが読み出される図１０（ａ）に示した１２×１２画素の画素配列での配列周期のライン番号を表記する。
【００８９】
図１１に示す１ライン目のＩＤ群１１１０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。続く１ライン目のＩＤ群１１１１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。
【００９０】
続く１ライン目のＩＤ群１１１２は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。続く１ライン目のＩＤ群１１１３は、基本配列パターン設定回路２０２１に設定された基本配列パターンＣを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜１＞の通りに３個分読み出した画素識別ＩＤである。各ＩＤ群での画素識別ＩＤの読み出しは、ＨＶ１カウンタ回路２０１２に設定された水平方向画素サイズＨ１＝３まで画素の水平方向位置を計数するカウント値に同期して行われる。
【００９１】
以降、１ライン目は、ＨＶ２カウンタ回路２０１３に設定された水平方向の基本配列パターンの配置個数Ｈ２＝４まで基本配列パターンの水平方向位置を計数するカウント値に同期して、ＩＤ群１１１０〜１１１３の画素識別ＩＤの読み出しを繰り返す。ＨＶカウンタ回路２０１１に設定された画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで処理対象画素の水平方向位置を計数するカウント値が達したら、カウント値をリセットして、次のラインの画素識別ＩＤの出力に移行する。
【００９２】
図１１に示す２ライン目のＩＤ群１１２０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。続く２ライン目のＩＤ群１１２１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。
【００９３】
続く２ライン目のＩＤ群１１２２は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。続く２ライン目のＩＤ群１１２３は、基本配列パターン設定回路２０２１に設定された基本配列パターンＣを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜２＞の通りに３個分読み出した画素識別ＩＤである。以降、２ライン目は、１ライン目と同様にＩＤ群１１２０〜１１２３の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００９４】
図１１に示す３ライン目のＩＤ群１１３０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。続く３ライン目のＩＤ群１１３１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡを、回転情報＝１及び反転情報＝０に対応する図５（ｂ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。
【００９５】
続く３ライン目のＩＤ群１１３２は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。続く３ライン目のＩＤ群１１３３は、基本配列パターン設定回路２０２１に設定された基本配列パターンＣを、回転情報＝０及び反転情報＝０に対応する図５（ａ）の矢印番号＜３＞の通りに３個分読み出した画素識別ＩＤである。以降、３ライン目は、１ライン目と同様にＩＤ群１１３０〜１１３３の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝７２０まで繰り返す。
【００９６】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝３まで読み出し画素の垂直方向位置を計数するカウント値と同期して各ラインの読み出しを行い、３ライン分（１〜３ライン目）の画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２のカウント値がリセットされ、次のライン（４ライン目）では再び矢印番号＜１＞の通りに基本配列パターンの画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「１」になる。
【００９７】
図１１に示す４〜１２ライン目の画素識別ＩＤの出力は、１〜３ライン目及び前述した第１の実施形態と同様に、基本配列パターン設定回路２０２１、配列周期設定回路２０２２、回転設定回路２０２３、及び反転設定回路２０２４の設定内容に従い動作を行う。カウンタ部２０１のＨＶカウンタ回路２０１１、ＨＶ１カウンタ回路２０１２、及びＨＶ２カウンタ回路２０１３も同様にカウント動作を行う。
【００９８】
ここで、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値は、３ライン毎にカウントアップを行い、１２ライン目の出力時に、設定された垂直方向の基本配列パターンの配置個数Ｖ２＝４に達する。１２ライン目の画素識別ＩＤの出力完了後、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値はリセットされる。１３ライン目以降の画素識別ＩＤの出力は、基本配列パターンを垂直方向に４回読み出した１２ライン分（１〜１２ライン目）を繰り返す。以降、ＨＶカウンタ回路２０１１に設定された画像データの垂直方向画素サイズＶＳＩＺＥ＝５４０まで処理対象画素の垂直方向画素位置を計数するカウント値が達し、最終ラインに該当する５４０ライン目の画素識別ＩＤの出力が終わるまで繰り返す。
【００９９】
画素識別信号出力部２０３から出力される画素識別信号は、補正処理部１０４及び画像処理部１０５に入力され、補正処理部１０４及び画像処理部１０５のそれぞれ内部で各画素識別ＩＤに応じた処理が実行される。例えば、画像処理部１０５は、画素識別ＩＤに応じて位相差検出処理を行い、Ａ像用のＧ画素とＢ像用のＧ画素の画素データを画素識別ＩＤにより認識してＡ像波形とＢ像波形を生成し、波形間の位相差からデフォーカス量を算出してオートフォーカスを実行する。
【０１００】
なお、本実施形態では、基本配列パターンの個数が３個の場合を説明したが、基本配列パターン設定回路２０２１に設定する基本配列パターンは、３個以外の複数個にも適応可能である。また、基本配列パターン設定回路２０２１内で、基本配列パターン毎に複数個のレジスタ回路を使用することで、複数個の基本配列パターンに対応可能である。
【０１０１】
（第４の実施形態）
以下、本発明の第４の実施形態における画像処理装置での処理について説明する。第３の実施形態では、画素識別ＩＤとして機能画素ＩＤを設定し、図２に示した画素識別信号出力部２０３の機能画素ＩＤ信号出力回路３０５によって画素識別ＩＤの読み出しを行う場合の処理について説明する。
【０１０２】
図１２は、第４の実施形態における画像処理装置が有する画素配列設定部２０２に対する設定の例を説明するための図である。図１２（ａ）は、第４の実施形態における画像処理装置が有する撮像素子の画素配列を説明するための図である。本実施形態における撮像素子が有する画素は、位相差検出用画素として一つ一つの画素が２つに分割されたフォトダイオードから構成されている。
【０１０３】
図１２（ａ）において、画素１２０１が縦方向に分割した画素（以下、縦方向分割画素）であり、画素１２０２が横方向に分割した画素（以下、横方向分割画素）である。前述した第３の実施形態における撮像素子と同様に、分割したフォトダイオードでＡ像及びＢ像を取得して、位相差からデフォーカス量を算出してオートフォーカスを実現する。すなわち、複数の縦方向分割画素の左側のフォトダイオードで取得した水平方向のＡ像と縦方向分割画素の右側のフォトダイオードで取得した水平方向のＢ像の集合を波形として取得し、各波形間の位相差を取得する。また、複数の横方向分割画素の上側のフォトダイオードで取得した垂直方向のＡ像と横方向分割画素の下側のフォトダイオードで取得した垂直方向のＢ像の集合を波形として取得し、各波形間の位相差を取得する。この水平方向の位相差、垂直方向の位相差を用いてデフォーカス量を算出してオートフォーカスを実現する。
【０１０４】
本実施形態における撮像素子には、図１２（ａ）において実線で囲まれる領域１２１１の４×４画素を単位とした配列周期を持った機能画素が配置されている。以下、図１２（ａ）に示す画素配列に対応した画素配列設定部２０２の各設定回路に対する設定内容について説明する。
【０１０５】
図１２（ｂ）は、第４の実施形態における基本配列パターン設定回路２０２１の設定内容を示す図である。図１２（ａ）において実線で囲まれる領域１２１１の４×４画素を単位とした配列周期は、破線で囲まれる領域１２１２の２×２画素の横方向分割画素の画素配列２個、破線で囲まれる領域１２１３の２×２画素の縦方向分割画素の画素配列２個で構成される。破線で囲まれる領域１２１２、１２１３の２×２画素の画素配列は、画素毎に画素識別ＩＤを設定し、それぞれ基本配列パターンＡ、Ｂとして基本配列パターン設定回路２０２１に設定する。各画素識別ＩＤは、縦方向分割画素＝０、横方向分割画素＝１として設定し、破線で囲まれる領域１２１２、１２１３の２×２画素の画素配列の並びになるように図１２（ｂ）のように設定を行う。また、ＨＶ１カウンタ回路２０１２に、基本配列パターンの水平方向画素サイズＨ１＝２及び垂直方向画素サイズＶ１＝２を設定する。
【０１０６】
図１２（ｃ）は、第４の実施形態における配列周期設定回路２０２２の設定内容を示す図である。基本配列パターン設定回路２０２１に設定した図１２（ｂ）に示す基本配列パターンＡ、Ｂを指定する設定値を各々“０”、“１”として、図１２（ｃ）のように配列周期設定回路２０２２に設定する。また、ＨＶ２カウンタ回路２０１３に、水平方向の基本配列パターンの配置個数Ｈ２＝２及び垂直方向の基本配列パターンの配置個数Ｖ２＝２を設定する。
【０１０７】
図１２（ｄ）は、第４の実施形態における回転設定回路２０２３の設定内容を示す図である。図１２に示す例では、回転させる基本配列パターンは存在しないため、回転設定回路２０２３の全箇所に設定値“０”を設定する。図１２（ｅ）は、第４の実施形態における反転設定回路２０２４の設定内容を示す図である。図１２に示す例では、反転させる基本配列パターンは存在しないため、反転設定回路２０２４の全箇所に設定値“０”を設定する。
【０１０８】
次に、画素識別信号出力部２０３の機能画素ＩＤ信号出力回路２０３２の動作について説明する。図１３は、第４の実施形態における画像処理装置が有する画素識別信号出力部２０３からの画素識別信号の例を示す図である。機能画素ＩＤ信号出力回路２０３２の読み出し動作は、基本的にはカラーＩＤ信号出力回路２０３１と同様である。
【０１０９】
本実施形態では、水平方向画素サイズが４８０画素、垂直方向画素サイズが３６０画素の画像データを処理し、図１２（ａ）に示した領域１２１１内の左上隅の画素が画像データの開始画素となる場合を例として示す。このとき、ＨＶカウンタ回路２０１１に、画像データの水平方向画素サイズＨＳＩＺＥ＝４８０及び垂直方向画素サイズＶＳＩＺＥ＝３６０を設定する。したがって、本実施形態では、画像データの画素サイズが水平方向及び垂直方向とも配列周期の画素数の整数倍となるので、マスク処理の設定は不要となる。なお、画像データの処理を開始する前に、カウンタ部２０１内の全カウンタ回路のカウント値をリセットする。
【０１１０】
図１３には、画像データの１ライン目から３６０ライン目までを処理する際に、機能画素ＩＤ信号出力回路２０３２で画素配列設定部２０２から読み出される画素識別ＩＤ（機能画素ＩＤ）の信号を示している。図１３に示す例では、図１２に示したような各種情報が、画素配列設定部２０２の各設定回路に対して設定されているものとする。図１３においては、画像データのライン番号を左部に表記し、その隣に画素識別ＩＤが読み出される図１２（ａ）に示した４×４画素の領域１２１１での配列周期のライン番号を表記する。
【０１１１】
図１３に示す１ライン目のＩＤ群１３１０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡの１ライン目を２個分読み出した画素識別ＩＤである。続く１ライン目のＩＤ群１３１１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢの１ライン目を２個分読み出した画素識別ＩＤである。各ＩＤ群での画素識別ＩＤの読み出しは、ＨＶ１カウンタ回路２０１２に設定された水平方向画素サイズＨ１＝２まで画素の水平方向位置を計数するカウント値に同期して行われる。
【０１１２】
以降、１ライン目は、ＨＶ２カウンタ回路２０１３に設定された水平方向の基本配列パターンの配置個数Ｈ２＝２まで基本配列パターンの水平方向位置を計数するカウント値に同期して、ＩＤ群１３１０及び１３１１の画素識別ＩＤの読み出しを繰り返す。ＨＶカウンタ回路２０１１に設定された画像データの水平方向画素サイズＨＳＩＺＥ＝４８０まで処理対象画素の水平方向位置を計数するカウント値が達したら、カウント値をリセットして、次のラインの画素識別ＩＤの出力に移行する。
【０１１３】
図１３に示す２ライン目のＩＤ群１３２０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡの２ライン目を２個分読み出した画素識別ＩＤである。続く２ライン目のＩＤ群１３２１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢの２ライン目を２個分読み出した画素識別ＩＤである。以降、２ライン目は、１ライン目と同様にＩＤ群１３２０及び１３２１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝４８０まで繰り返す。
【０１１４】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝２まで読み出し画素の垂直方向位置を計数するカウント値と同期して各ラインの読み出しを行い、２ライン分（１〜２ライン目）の画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２のカウント値がリセットされ、次のライン（３ライン目）からは再び各基本配列パターンの１ライン目の画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「１」になる。
【０１１５】
図１３に示す３ライン目のＩＤ群１３３０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢの１ライン目を２個分読み出した画素識別ＩＤである。続く３ライン目のＩＤ群１３３１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡの１ライン目を２個分読み出した画素識別ＩＤである。以降、３ライン目は、１ライン目と同様にＩＤ群１３３０及び１３３１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝４８０まで繰り返す。
【０１１６】
図１３に示す４ライン目のＩＤ群１３４０は、基本配列パターン設定回路２０２１に設定された基本配列パターンＢの２ライン目を２個分読み出した画素識別ＩＤである。続く４ライン目のＩＤ群１３４１は、基本配列パターン設定回路２０２１に設定された基本配列パターンＡの２ライン目を２個分読み出した画素識別ＩＤである。以降、４ライン目は、１ライン目と同様にＩＤ群１３４０及び１３４１の画素識別ＩＤの読み出しを画像データの水平方向画素サイズＨＳＩＺＥ＝４８０まで繰り返す。
【０１１７】
このようにして、ＨＶ１カウンタ回路２０１２に設定された垂直方向画素サイズＶ１＝２まで読み出し画素の垂直方向位置を計数するカウント値と同期して各ラインの読み出しを行い、２ライン分（３〜４ライン目）の画素識別ＩＤの読み出しが完了する。そして、ＨＶ１カウンタ回路２０１２のカウント値がリセットされ、再度、各基本配列パターンの１ライン目の画素識別ＩＤを読み出す。また、ＨＶ２カウンタ回路２０１３の基本配列パターンの垂直方向位置を計数するカウント値がカウントアップされて「２」となる。
【０１１８】
ＨＶ２カウンタ回路２０１３に設定された垂直方向の基本配列パターンの配置個数Ｖ２＝２まで基本配列パターンの垂直方向位置を計数するカウント値が達する。５ライン目以降の画素識別ＩＤの出力は、基本配列パターンを垂直方向に２回読み出した４ライン分（１〜４ライン目）を繰り返す。以降、ＨＶカウンタ回路２０１１に設定された画像データの垂直方向画素サイズＶＳＩＺＥ＝３６０まで処理対象画素の垂直方向画素位置を計数するカウント値が達し、最終ラインに該当する３６０ライン目の画素識別ＩＤの出力が終わるまで繰り返す。
【０１１９】
画素識別信号出力部２０３から出力される画素識別信号は、補正処理部１０４及び画像処理部１０５に入力され、補正処理部１０４及び画像処理部１０５のそれぞれ内部で各画素識別ＩＤに応じた処理が実行される。例えば、画像処理部１０５は、水平方向、垂直方向のそれぞれのＡ像用及びＢ像用の画素データを機能画素ＩＤにより認識して、水平方向、垂直方向のＡ像波形とＢ像波形を生成し、波形間の位相差からデフォーカス量を算出してオートフォーカスを実行する。なお、本実施形態における撮像素子の画素は２つのフォトダイオードを備えているため、１画素当たり２個分の画素データが出力される場合には、画素識別信号出力部２０３からの機能画素ＩＤの出力期間を２個分の画素データの出力期間とすることもできる。
【０１２０】
（第５の実施形態）
以下、本発明の第５の実施形態における画像処理装置での処理について説明する。第５の実施形態では、画素識別ＩＤとしてカラーＩＤと機能画素ＩＤの両方を設定する場合及び、機能画素ＩＤの配列周期が領域毎に異なる場合の処理内容について説明する。
【０１２１】
図１４は、第５の実施形態における画像処理装置が有するＩＤ設定部１１１の構成例を示すブロック図である。図１４に示す第５の実施形態におけるＩＤ設定部１１１の基本的な構成及び機能は、図２に示したＩＤ設定部１１１と類似しており、各部にカラーＩＤ用の回路と機能画素ＩＤ用の回路が存在する。ＩＤ設定部１１１は、カウンタ部１４１、画素配列設定部１４２、画素識別信号出力部１４４、及び領域設定部１４５を有する。
【０１２２】
カウンタ部１４１は、カラーＩＤの各種カウント用のＣＩＤＨＶカウンタ回路１４１１、ＣＩＤＨＶ１カウンタ回路１４１２、及びＣＩＤＨＶ２カウンタ回路１４１３を有する。また、カウンタ部１４１は、機能画素ＩＤの各種カウント用のＦＩＤＨＶカウンタ回路１４１４、ＦＩＤＨＶ１カウンタ回路１４１５、及びＦＩＤＨＶ２カウンタ回路１４１６を有する。
【０１２３】
なお、ＣＩＤＨＶカウンタ回路１４１１及びＦＩＤＨＶカウンタ回路１４１４の構成及び機能は、図２に示したカウンタ部２０１のＨＶカウンタ回路２０１１と同様である。また、ＣＩＤＨＶ１カウンタ回路１４１２及びＦＩＤＨＶ１カウンタ回路１４１５の構成及び機能は、図２に示したカウンタ部２０１のＨＶ１カウンタ回路２０１２と同様である。また、ＣＩＤＨＶ２カウンタ回路１４１３及びＦＩＤＨＶ２カウンタ回路１４１６の構成及び機能は、図２に示したカウンタ部２０１のＨＶ２カウンタ回路２０１３と同様である。
【０１２４】
画素配列設定部１４２は、制御部１０７から送信される撮像素子のカラーフィルタ配列や機能画素配列の情報を設定する。画素配列設定部１４２は、カラーＩＤに関する情報が設定されるＣＩＤ基本配列パターン設定回路１４２１、ＣＩＤ配列周期設定回路１４２２、ＣＩＤ回転設定回路１４２３、ＣＩＤ反転設定回路１４２４、及びＣＩＤマスク設定回路１４２５を有する。また、画素配列設定部１４２は、機能画素ＩＤに関する情報が設定されるＦＩＤ基本配列パターン設定回路１４２６、ＦＩＤ配列周期設定回路１４２７、ＦＩＤ回転設定回路１４２８、ＦＩＤ反転設定回路１４２９、及びＦＩＤマスク設定回路１４３０を有する。設定回路１４２１〜１４３０の各々は、例えば設定値を保持するレジスタ回路等で構成される。
【０１２５】
なお、ＣＩＤ基本配列パターン設定回路１４２１及びＦＩＤ基本配列パターン設定回路１４２６の構成及び機能は、図２に示した画素配列設定部２０２の基本配列パターン設定回路２０２１と同様である。ＣＩＤ配列周期設定回路１４２２及びＦＩＤ配列周期設定回路１４２７の構成及び機能は、図２に示した画素配列設定部２０２の配列周期設定回路２０２２と同様である。ＣＩＤ回転設定回路１４２３及びＦＩＤ回転設定回路１４２８の構成及び機能は、図２に示した画素配列設定部２０２の回転設定回路２０２３と同様である。ＣＩＤ反転設定回路１４２４及びＦＩＤ反転設定回路１４２９の構成及び機能は、図２に示した画素配列設定部２０２の反転設定回路２０２４と同様である。ＣＩＤマスク設定回路１４２５及びＦＩＤマスク設定回路１４３０の構成及び機能は、図２に示した画素配列設定部２０２のマスク設定回路２０２５と同様である。
【０１２６】
画素識別信号出力部１４４は、カラーＩＤ信号出力回路１４４１及び機能画素ＩＤ信号出力回路１４４２を有する。カラーＩＤ信号出力回路１４４１及び機能画素ＩＤ信号出力回路１４４２の構成及び機能は、図２に示した画素識別信号出力部２０３のカラーＩＤ信号出力回路２０３１及び機能画素ＩＤ信号出力回路２０３２の構成及び機能とそれぞれ同様である。
【０１２７】
領域設定部１４５は、撮像素子のカラーフィルタ及び機能画素の配列周期が領域毎に異なる場合に、各領域の始点画素の水平方向位置ＳＨ及び垂直方向位置ＳＶと、終点画素の水平方向位置ＥＨ及び垂直方向位置ＥＶとを指定する。領域設定部１４５は、カラーＩＤ用のＣＩＤ領域設定回路１４５１及び機能画素ＩＤ用のＦＩＤ領域設定回路１４５２を有する。なお、ＣＩＤ領域設定回路１４５１及びＦＩＤ領域設定回路１４５２には、複数の領域を設定することが可能である。複数の領域を設定する際には、カウンタ部１４１の各カウンタ回路及び画素配列設定部１４２の各設定回路に対して領域毎の設定を行う。
【０１２８】
ＣＩＤ領域設定回路１４５１及びＦＩＤ領域設定回路１４５２の各々は、カウンタ部１４１から処理対象の画像データの水平方向位置及び垂直方向位置の情報を受信し、領域毎に領域識別信号を出力する。ＣＩＤ領域設定回路１４５１からの領域識別信号はカラーＩＤ信号出力回路１４４１へ送信され、ＦＩＤ領域設定回路１４５２からの領域識別信号は機能画素ＩＤ信号出力回路１４４２へ送信される。
【０１２９】
図１５は、第５の実施形態における画像処理装置が有する撮像素子の画素配列の例を示す図である。機能画素配列として、ＮＲＭ領域１５０１は非分割のフォトダイオードで構成される機能画素の配列周期１５０４、ＦＮＣ領域１５０２は第４の実施形態における撮像素子と同じ２分割されたフォトダイオードで構成される機能画素の配列周期１５０３から成る。また、カラーフィルタ配列として、全領域が第１の実施形態における撮像素子と同じカラーフィルタ配列となるカラーフィルタ配列周期１５０５から成る。なお、ＦＮＣ領域１５０２の画素サイズは、水平方向画素サイズＨＳＩＺＥ＝４８０であり垂直方向画素サイズＶＳＩＺＥ＝３６０である。各領域とも前述した各配列周期が繰り返し撮像素子の受光面に配置されている。
【０１３０】
本実施形態では、水平方向画素サイズが７２０画素、垂直方向画素サイズが５４０画素の画像データを処理する場合について説明する。また、本実施形態における処理では、図１５に示した左上隅の画素（座標Ｈ＝０，Ｖ＝０の画素）が画像データの開始画素となり、画像データの水平方向画素位置Ｈ＝１２０、垂直方向画素位置Ｖ＝９０の画素がＦＮＣ領域１５０２の開始画素となるものとする。
【０１３１】
始めに、カラーＩＤ信号出力回路１４４１の処理について説明する。カラーＩＤの配列周期は全領域で同じとなるため、ＣＩＤ領域設定回路１４５１には、画像データの始点画素の水平方向位置ＳＨ＝０及び垂直方向位置ＳＶ＝０と、終点画素の水平方向位置ＥＨ＝７２０及び垂直方向位置ＥＶ＝５４０を設定する。また、画像データの水平方向画素サイズＨＳＩＺＥ＝７２０、垂直方向画素サイズＶＳＩＺＥ＝５４０であり、カラーフィルタの配列周期１５０５は、前述した第１の実施形態と同じである。したがって、カラーＩＤ信号出力回路１４４１の基本的な画素識別信号の出力処理は、前述した第１の実施形態と同様である。その他、カラーＩＤ用のカウンタ部１４１の各カウンタ回路１４１１〜１４１３、及び画素配列設定部１４２の各設定回路１４２１〜１４２５とも、前述した第１の実施形態と同様である。
【０１３２】
次に、機能画素ＩＤ信号出力回路１４４２の処理について説明する。機能画素ＩＤについては、ＮＲＭ領域１５０１は非分割の通常の画素（機能画素ＩＤ＝２）、ＦＮＣ領域１５０２は縦方向分割画素（機能画素ＩＤ＝０）及び横方向分割画素（機能画素ＩＤ＝１）の位相差検出用画素と、領域に応じて異なる種類の配列周期となる。ＦＩＤ領域設定回路１４５２には、機能画素ＩＤのＮＲＭ領域１５０１の始点画素の水平方向位置ＳＨ＝０及び垂直方向位置ＳＶ＝０と、終点画素の水平方向位置ＥＨ＝７２０及び垂直方向位置ＥＶ＝５４０を設定する。また、ＦＩＤ領域設定回路１４５２には、機能画素ＩＤのＦＮＣ領域１５０２の始点画素の水平方向位置ＳＨ＝１２０及び垂直方向位置ＳＶ＝９０と、終点画素の水平方向位置ＥＨ＝６００及び垂直方向位置ＥＶ＝４５０を設定する。ＦＩＤ領域設定回路１４５２は、設定された位置情報に基づいて、各領域期間であることを後段の画素識別信号出力部１４４に領域識別信号として送信する。
【０１３３】
ＦＩＤＨＶカウンタ回路１４１４には、ＮＲＭ領域１５０１の画像データの水平方向画素サイズＨＳＩＺＥ＝７２０及び垂直方向画素サイズＶＳＩＺＥ＝５４０を設定する。また、ＦＩＤＨＶカウンタ回路１４１４には、ＦＮＣ領域１５０２の画像データの水平方向画素サイズＨＳＩＺＥ＝４８０及び垂直方向画素サイズＶＳＩＺＥ＝３６０を設定する。
【０１３４】
ＮＲＭ領域１５０１における機能画素の配列周期１５０４は、一画素の繰り返しである。したがって、ＦＩＤＨＶ１カウンタ回路１４１５には、基本配列パターンの水平方向画素サイズＨ１＝１及び垂直方向画素サイズＶ１＝１を設定する。ＦＩＤＨＶ２カウンタ回路１４１６には、水平方向の基本配列パターンの配置個数Ｈ２＝１及び垂直方向の基本配列パターンの配置個数Ｖ２＝１を設定する。また、画素配列設定部１４２の各設定回路１４２６〜１４３０にも一画素のみ機能画素ＩＤの設定を行う。
【０１３５】
また、ＦＮＣ領域１５０２の水平方向画素サイズＨＳＩＺＥ＝４８０、垂直方向画素サイズＶＳＩＺＥ＝３６０であり、機能画素の配列周期は前述した第４の実施形態と同じである。したがって、ＦＮＣ領域１５０２に関しては、カウンタ部１４１の各カウンタ回路１４１４〜１４１６及び画素配列設定部１４２の各設定回路１４２６〜１４３０には前述した第４の実施形態と同じ設定を行う。
【０１３６】
まず、画像データの処理を開始する前に、カウンタ部１４１内の全カウンタ回路のカウント値をリセットする。処理を開始した後、カラーＩＤ信号出力回路１４４１は、第１の実施形態と同様の処理を実施し、読み出したカラーＩＤを画素識別信号として補正処理部１０４及び画像処理部１０５に送信する。
【０１３７】
機能画素ＩＤ信号出力回路１４４２は、ＦＩＤ領域設定回路１４５２からの領域識別信号を受信し、領域に応じた機能画素ＩＤの読み出しを行い、読み出した機能画素ＩＤを画素識別信号として補正処理部１０４及び画像処理部１０５に送信する。機能画素ＩＤ信号出力回路１４４２は、ＮＲＭ領域１５０１においては、配列周期１５０４で示される機能画素ＩＤ（＝２）を出力し、ＦＮＣ領域１５０２においては、配列周期１５０３で示される機能画素ＩＤ（＝０又は１）を出力する。なお、ＦＮＣ領域１５０２は水平方向画素サイズＨＳＩＺＥ＝４８０及び垂直方向画素サイズＶＳＩＺＥ＝３６０であり、機能画素の配列周期も前述した第４の実施形態と同じである。したがって、ＦＮＣ領域１５０２における機能画素ＩＤ信号出力回路１４４２の基本的な画素識別信号の出力処理は、前述した第４の実施形態と同様である。
【０１３８】
次に、補正処理部１０４及び画像処理部１０５での画素識別信号に応じた処理について説明する。図１６は、第５の実施形態における画像処理装置が有する各処理回路の画素識別信号の処理状態の例を示すブロック図である。画素識別信号の内、機能画素ＩＤ１６１は、キズ画素補正処理回路１６０２及び位相差検出処理回路１６０４に入力される。また、カラーＩＤ１６２は、キズ画素補正処理回路１６０２、ＣＭＯＳセンサ補正処理回路１６０３、シェーディング補正処理回路１６０５、ゲイン処理回路１６０６、及び拡大・縮小処理回路１６０７に入力される。各処理回路への入力画素データ１６０１に対して、機能画素ＩＤ１６１及びカラーＩＤ１６２の種類に応じて処理が実施される。
【０１３９】
キズ補正処理回路１６０２は、カラーＩＤ１６２により、隣接する同色の画素からキズ補正対象となる画素の補正を行う。また、キズ補正処理回路１６０２は、機能画素ＩＤ１６１の種類により、位相差検出用画素と通常の画素とを区別して補正処理内容を変更する。ＣＭＯＳセンサ補正処理回路１６０３は、カラーＩＤ１６２により、カラーフィルタ色毎にオフセット補正及びゲイン補正を実施する。位相差検出処理回路１６０４は、前述した第４の実施形態に記述した位相差検出処理を実施する。続く、シェーディング補正処理回路１６０５、ゲイン処理回路１６０６、及び拡大・縮小処理回路１６０７も同様にカラーＩＤ１６２により、カラーフィルタ色毎に処理内容を変更し、処理終了後の出力画素データ１６０８を生成する。以上で第５の実施形態に係る画像処理装置の処理が完了する。本実施形態で記載したように、カラーＩＤの配列周期と機能画素の配列周期とが異なる場合でも処理が対応可能である。
【０１４０】
なお、本実施形態では、機能画素の配列の領域を２種類に設定しているが、３種類以上の複数種類の領域を持つ構成も取り得る。また、本実施形態では、機能画素ＩＤのみ複数種類の領域を設定しているが、カラーＩＤについて複数種類の領域を設定する構成も取り得る。さらに、画素識別ＩＤとして、カラーフィルタ色を示すカラーＩＤと、画素の持つ特殊機能を示す機能画素ＩＤを用いたが、その他のＩＤを機能画素ＩＤに用いる構成も取り得る。図１７は、第５の実施形態における画像処理装置が有する撮像素子の画素配列の他の例を示す図である。図１７には、ＦＮＣ領域が複数存在する場合の例を示しており、上部及び下部の２か所に、通常の領域（ＮＲＭ領域）１７０３とは異なる領域（ＦＮＣ領域）１７０１、１７０２が存在する。複数の領域の画素識別ＩＤを設定できることにより、多種の撮像素子の画素配列に適応することが可能となる。
【０１４１】
以上説明した本発明の実施形態によれば、撮像素子における画素配列の並び方の基礎となる基本配列パターンを設定し、基本配列パターンの対称性を利用して配列周期を設定することにより、各画素を識別するための画素識別信号の出力処理を行う。また、各種画素識別ＩＤ毎や撮像素子の領域毎に異なる配列周期を基とした画素識別信号の出力処理を行う。これにより、各画素を識別するための設定用回路の規模が増大することを抑制し、多様な構成の配列を持つ撮像素子からの画像データの処理に対応可能な画像処理装置を提供することが可能となる。例えば、カラーフィルタ配列や機能画素配列が複雑化した場合や、配列周期が異なる場合、撮像素子の受光面の領域によって配列が異なる場合でも、設定用回路の規模が増大することを抑制しつつ画像データの処理に対応可能となる。
【０１４２】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。前述の実施形態の一部を適宜組み合わせてもよい。また、前述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【０１４３】
したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【０１４４】
１０２：撮像素子部  １０４：補正処理部  １０５：画像処理部  １０７：制御部  １１１：ＩＤ設定部  ２０１：カウンタ部  ２０１１：ＨＶカウンタ回路  ２０１２：ＨＶ１カウンタ回路  ２０１３：ＨＶ２カウンタ回路  ２０２：画素配列設定部  ２０２１：基本配列パターン設定回路  ２０２２：配列周期設定回路  ２０２３：回転設定回路  ２０２４：反転設定回路  ２０２５：マスク設定回路  ２０３：画素識別信号出力部  ２０３１：カラーＩＤ信号出力回路  ２０３２：機能画素ＩＤ信号出力回路
【図１】
2016158041.tif 000003
【図２】
2016158041.tif 000004
【図３】
2016158041.tif 000005
【図４】
2016158041.tif 000006
【図５】
2016158041.tif 000007
【図６】
2016158041.tif 000008
【図７】
2016158041.tif 000009
【図８】
2016158041.tif 000010
【図９】
2016158041.tif 000011
【図１０】
2016158041.tif 000012
【図１１】
2016158041.tif 000013
【図１２】
2016158041.tif 000014
【図１３】
2016158041.tif 000015
【図１４】
2016158041.tif 000016
【図１５】
2016158041.tif 000017
【図１６】
2016158041.tif 000018
【図１７】
2016158041.tif 000019