(57)【要約】【課題】  注目画素に対する参照画素のデータとして、有効画素のデータをコピーする際に、コピー元の有効画素の位置とコピー先の位置との間隔とを短縮する。【解決手段】  有効画素データの領域である有効画素領域の端（左端・右端）の外側に参照画素領域を設定する。参照画素領域の各画素に、カラーフィルタの配列の繰り返しパターンが保持されるように色を設定する。複数の画素からなる画素ブロックに参照画素領域を分ける。有効画素領域から、参照画素領域における画素ブロックに最も近い画素ブロックを選択し、それらの画素ブロックの色の組み合わせが同じであるか否かを判定する。有効画素領域における画素ブロックと、参照画素領域における画素ブロックの色の組み合わせが同じでない場合には、同じになるまで、有効画素データにおける画素ブロックを水平方向に１つずつずらして前記の判定を行う。【選択図】  図５
2015170897.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ×Ｎ（Ｍ、Ｎは正の整数）の色の配列を有するカラーフィルタを備えた撮像素子から出力された画素データを取得する取得手段と、
前記画素データにより定まる画像の端部の外側の領域であって、当該画素データを処理する際の参照画素のそれぞれに、前記カラーフィルタにおける前記色の配列の繰り返しパターンが保持されるように、色を配置する配置手段と、
前記参照画素からなる領域である参照画素領域における画素ブロックに対して前記配置手段により配置された色の組み合わせと同じ色の組み合わせとなる画素ブロックを、水平方向または垂直方向を探索の方向として、前記画素データに基づく画像の領域である有効画素領域から探索する探索手段と、
前記探索手段により探索された前記有効画素領域における前記画素ブロックに含まれる画素のデータを、前記参照画素領域における前記画素ブロックに含まれる画素のデータとしてコピーするコピー手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記探索手段は、前記参照画素領域における前記画素ブロックに対して前記配置手段により配置された色の組み合わせと同じ色の組み合わせとなる前記画素ブロックであって、当該参照画素領域における前記画素ブロックに最も近い前記画素ブロックを、前記有効画素領域から探索することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記探索手段は、前記有効画素領域における前記画素ブロックのうち、前記参照画素領域における前記画素ブロックに最も近い画素ブロックから前記探索を開始し、前記参照画素領域における前記画素ブロックに配置された色の組み合わせと同じ色の組み合わせとなる前記画素ブロックが存在するまで、前記探索の方向に沿って、前記参照画素領域における前記画素ブロックと比較する前記有効画素領域における前記画素ブロックを順番に変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記コピー手段は、前記参照画素領域における前記画素ブロックの画素に対して前記配置手段により配置された色と同じ色に対応する画素のデータを、前記探索手段により探索された前記有効画素領域から選択してコピーすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記画素ブロックの大きさを、前記カラーフィルタにおける前記色の配列に応じて設定する設定手段を更に有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記カラーフィルタにおける前記色の配列に基づいて、前記画素ブロックの画素サイズを、前記探索手段における前記探索の方向に応じて変更する変更手段を更に有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
Ｍ×Ｎ（Ｍ、Ｎは正の整数）の色の配列を有するカラーフィルタを備えた撮像素子から出力された画素データを取得する取得工程と、
前記画素データにより定まる画像の端部の外側の領域であって、当該画素データを処理する際の参照画素のそれぞれに、前記カラーフィルタにおける前記色の配列の繰り返しパターンが保持されるように、色を配置する配置工程と、
前記参照画素からなる領域である参照画素領域における画素ブロックに対して前記配置工程により配置された色の組み合わせと同じ色の組み合わせとなる画素ブロックを、水平方向または垂直方向を探索の方向として、前記画素データに基づく画像の領域である有効画素領域から探索する探索工程と、
前記探索工程により探索された前記有効画素領域における前記画素ブロックに含まれる画素のデータを、前記参照画素領域における前記画素ブロックに含まれる画素のデータとしてコピーするコピー工程と、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、注目画素の処理を、その周囲の画素を参照して行うために用いて好適なものである。
【背景技術】
【０００２】
一般に、デジタルカメラ等に搭載されているＣＭＯＳ型及びＣＣＤ型の撮像素子では、Ｒ（赤）色１個、Ｇ（緑）色２個、Ｂ（青）色１個のカラーフィルタから構成される２×２画素を単位としたベイヤー配列が多く使用されている。
しかし、近年、モアレの発生防止といった目的で、従来のベイヤー配列以外のカラーフィルタ配列を有する撮像素子が製品化されている。非特許文献１では、６×６画素を単位とした非周期性の高いカラーフィルタ配列を持つ撮像素子が開示されている。カラーフィルタ配列の非周期性の向上により、このカラーフィルタ配列では、従来のベイヤー配列と比較して、モアレの発生を軽減することができる。
【０００３】
画像処理装置では、撮像素子から出力された画素データに対して、一次元または二次元フィルタを使用して、エッジ強調処理やローパスフィルタによる補正処理等が実施される。前記フィルタを使用する処理では、画像データ全域に対して処理を行う際に、フィルタの注目画素が画像データの端部に位置した場合、参照画素の一部が存在しない。ここで、注目画素はフィルタ係数の中心位置となる画素であり、参照画素はフィルタ係数の中心位置以外の周囲に位置する画素である。
特許文献１には、フィルタを使用する処理において、注目画素に対する参照画素の一部が存在しない場合に、存在しない参照画素の位置に画像データの端部の有効画素データをコピーして外挿することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０９４１６０号公報
【非特許文献】
【０００５】
【非特許文献１】"APS-Cサイズ 1630万画素"X-Trans CMOS""、［online］、富士フイルム株式会社、［平成２６年１月２９日検索］、インターネット〈URL；http://fujifilm.jp/personal/digitalcamera/x/fujifilm_x_pro1/features/index.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１で開示されているような特殊なカラーフィルタ配列を有する撮像素子で撮像された画像データに対し特許文献１に記載の技術を用いると、コピーされた参照画素となる画素データとコピー元の画素データとの間隔が長くなる虞がある。
一般に、画像データの２つの画素間の間隔が長い場合、各画素の捉える被写体物も異なり、色も異なるため、各画素の画素値の差が大きくなることが多い。したがって、画像端部にコピーされる参照画素は、画像端部の近傍に位置する画素であって注目画素と同色の有効画素であることが望ましい。
本発明は、このような課題を鑑みて成されたものであり、注目画素に対する参照画素のデータとして有効画素のデータをコピーする際に、コピー元の有効画素の位置とコピー先の位置との間隔とを短縮することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、Ｍ×Ｎ（Ｍ、Ｎは正の整数）の色の配列を有するカラーフィルタを備えた撮像素子から出力された画素データを取得する取得手段と、前記画素データにより定まる画像の端部の外側の領域であって、当該画素データを処理する際の参照画素のそれぞれに、前記カラーフィルタにおける前記色の配列の繰り返しパターンが保持されるように、色を配置する配置手段と、前記参照画素からなる領域である参照画素領域における画素ブロックに対して前記配置手段により配置された色の組み合わせと同じ色の組み合わせとなる画素ブロックを、水平方向または垂直方向を探索の方向として、前記画素データに基づく画像の領域である有効画素領域から探索する探索手段と、前記探索手段により探索された前記有効画素領域における前記画素ブロックに含まれる画素のデータを、前記参照画素領域における前記画素ブロックに含まれる画素のデータとしてコピーするコピー手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、注目画素に対する参照画素のデータとして有効画素のデータをコピーする際に、コピー元の有効画素の位置とコピー先の位置との間隔とを短縮することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理回路の構成を示す図である。
【図３】画素コピー処理部の構成を示す図である。
【図４】カラーＩＤアドレス値を示す図である。
【図５】画素コピー処理の結果を第１の例を示す図である。
【図６】画素コピー処理部内の各信号のタイミングチャートである。
【図７】バッファメモリに格納される画素データの内容を示す図である。
【図８】画素コピー処理の結果の第２の例を示す図である。
【図９】画素コピー処理の結果の第３の例を示す図である。
【図１０】カラーフィルタ配列を示す図である。
【図１１】参照画素を画像端部の外側に拡張処理した様子を示す図である。
【図１２】ベイヤー配列を示す図である。
【図１３】画素コピー処理を実施した様子を示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態を説明する前に、本発明の実施形態の前提となる技術を説明する。
ここでは、ベイヤー配列のカラーフィルタ配列を有する撮像素子から出力されたＲ、Ｇ、Ｂの各色の画素データに対し、同色の画素データに５画素分のタップ数を有する１次元フィルタ処理を行う際の画像端部における参照画素の拡張処理を例に挙げて説明する。本例の１次元フィルタ処理では、処理対象となる注目画素を中心に左右４画素分のデータを必要とする。
図１１は、ベイヤー配列のカラーフィルタ配列を有する撮像素子から出力された画素データに対して、左右４画素ずつ画像端部の有効画素データをコピーして、参照画素を画像端部の外側に拡張処理した際の概念を示す図である。以下、画像端部の有効画素データをコピーして、参照画素を画像端部の外側に拡張する処理を画素コピー処理と称する。また、図１２は、ベイヤー配列を示す図である。
図１１（ａ）は、ベイヤー配列のカラーフィルタ配列を有する撮像素子から画像処理装置（画素コピー処理部）に入力される１ライン分の画素データを示す図である。撮像素子からの画素データは、画素データＲ０（１１０１）、Ｇ０（１１０２）、Ｒ１（１１０３）、Ｇ１（１１０４）、・・・、Ｒ９８（１１０９）、Ｇ９８（１１１０）、Ｒ９９（１１１１）、Ｇ９９（１１１２）の順で画素コピー処理部に入力する。ここで、Ｒ＊（＊：数字）はＲ色の画素データを、Ｇ＊はＧ色の画素データをそれぞれ表す。
【００１１】
画像処理装置の内部において画素コピー処理部の後段にあるフィルタ処理部は、前記５画素分のタップ数を有する１次元フィルタ処理を実施する。１次元フィルタ処理では、画素データＲ０（１１０１）が注目画素になった際に、画素データＲ０（１１０１）を中心として左右２画素分の同色の画素データが必要となる。そのため、画素コピー処理部では、入力された画素データに対して、注目画素と同色の画素が左右２画素分含まれるように左右４画素ずつ画像の端部から有効画素データを抽出し、抽出した有効画像データを参照画素データとして拡張した後に出力を実施する。
【００１２】
図１１（ｂ）は、画素コピー処理が行われた後の１ライン分の画素データを示す図である。
画像の左端部では、図１１（ｂ）に示すように、画像の左端部の有効画素データＲ０（１１０１）、Ｇ０（１１０２）を２画素ずつ、４画素分の画素コピー処理を行う。その結果、画像の左端部の外側に拡張される形で画素データＲ０（１１２１）、Ｇ０（１１２２）、Ｒ０（１１２３）、Ｇ０（１１２４）が参照画素として画素コピー処理される。画素コピー処理により、後段のフィルタ処理部で画素データＲ０（１１０１）が注目画素となった際にも、画素データＲ０（１１０１）と同色の参照画素として画素データＲ０（１１２１）及びＲ０（１１２３）を使用することが可能である。
【００１３】
一方、画像の右端部では、図１１（ｂ）に示すように、画像の右端部の有効画素データＲ９８（１１１１）、Ｒ９９（１１１２）を２画素ずつ、４画素分の画素コピー処理を行う。その結果、画像の右端部の外側に拡張される形で画素データＲ９９（１１２５）、Ｇ９９（１１２６）、Ｒ９９（１１２７）、Ｇ９９（１１２８）が参照画素として画素コピー処理される。画素コピー処理により、後段のフィルタ処理部で画素データＧ９９（１１１２）が注目画素となった際にも、画素データＧ９９（１１１２）と同色の参照画素として画素データＧ９９（１１２６）及びＧ９９（１１２８）を使用することが可能である。
尚、Ｇ色、Ｂ色の画素データを含むラインから読み出された画素データに対する画素コピー処理の方法も同様である。
【００１４】
図１３は、非特許文献１で開示されている特殊なカラーフィルタ配列を有する撮像素子から出力された画素データにおける画像の左端部に、参照画素として、同一ラインの４画素分の画素データについての画素コピー処理を実施した例を示す図である。図１０は、非特許文献１で開示されているカラーフィルタ配列を示す図である。
ここで、画素コピー処理後の後段のフィルタ処理におけるフィルタ係数の位置を考慮して、カラーフィルタ配列の色の順番を保持したまま、参照画素の画素コピー処理を実施する。
したがって、第１ライン目では、参照画素となるＢ色の画素データ１３０１は、当該画素データ１３０１と同一のライン内の画像の最左端部に位置する同色のＢ色の有効画素データ１２０２から画素コピー処理されたものになる。図１０に示すカラーフィルタ配列の周期は６画素単位である。このため、画素コピー処理された参照画素となるＢ色の画素データ１３０１とコピー元のＢ色の有効画素データ１３０２との間隔は６画素となる。
【００１５】
第６ライン目では、参照画素となるＲ色の画素データ１３０３は、当該画素データ１３０３と同一のライン内の画像の左端部に位置する同色のＲ色の有効画素データ１３０４から画素コピー処理されたものになる。画素コピー処理された参照画素となるＲ色の画素データ１３０３とコピー元のＢ色の有効画素データ１３０４との間隔は６画素となる。
一方、図１２に示すベイヤー配列のカラーフィルタ配列を有する撮像素子では、カラーフィルタ配列の周期が２画素単位である。このため、図１１に示すように、画像の端部で画素コピー処理された参照画素となる画素データとコピー元となる画素データとの間隔は２画素となる。
【００１６】
このように、ベイヤー配列以外のカラーフィルタ配列のカラーフィルタで得られた画素データについて前述した画素コピー処理を行うと、画素コピー処理された参照画素とコピー元の有効画素との間隔が、ベイヤー配列時のものと比較して長くなる。したがって、参照画素となる画素データとコピー元の有効画素との画素値の差異もベイヤー配列時のものに比較して大きくなることがある。また、画素コピー処理部から出力された画素データを処理する後段のフィルタ処理部においても、参照画素となる画素データの画素値の差異の影響を受ける。
以上のような課題の下、以下に説明する本発明の実施形態に想到した。
【００１７】
以下、図面を参照して本発明の一実施形態を説明する。
図１は、画像処理装置１００の機能的な構成の一例を示す図である。ここでは、画像処理装置１００がデジタルカメラである場合を例に挙げて示す。
図１において、結像光学系１０１は、レンズや絞り等を含み、フォーカス調節や露出調節を行う。
撮像素子１０２は、光学像を電気信号に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等で構成される。撮像素子１０２には、図１０に示す６×６画素単位の周期を持ったＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配置される。各画素から出力される信号レベルは、Ｒ、Ｇ、Ｂ色の何れかに対応した信号レベルとなる。結像光学系１０１に入射した光は、撮像素子１０２の受光面に結像され、撮像素子１０２からアナログの画像信号として出力される。
【００１８】
Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されたアナログの画像信号を、図１０に示す６×６画素単位のカラーフィルタ配列のＲＡＷ画像信号（デジタルの画像データ）に変換する。
【００１９】
画像処理回路１０４は、Ａ／Ｄ変換器１０３から出力された画像データを取得し、取得した画像データに対して後述の画素補間処理や色変換処理等の現像処理を実施する。
メモリインターフェース（Ｉ／Ｆ）１０５は、ＤＲＡＭで構成されたメモリ１０６との間で、画像処理回路１０４で処理された画像データや各種制御データの書き込み／読み出しを行う。
ＣＰＵ１０７は、画像処理装置１００の各種制御を司る。
表示部１０８は、液晶モニター等で構成される。表示部１０８は、画像処理回路１０４にて処理された画像データに基づく画像を随時表示し、ユーザがリアルタイムで被写体の様子を観察できるようにする。
【００２０】
図２は、画像処理装置１００の画像処理回路１０４の構成の一例を示す図である。
オフセット補正処理部２０１及びゲイン補正処理部２０２は、撮像素子１０２及びＡ／Ｄ変換器１０３のアナログ特性のばらつき（列アンプの特性ばらつき等）を補正するため、入力された画素信号に対して、オフセット補正及びゲイン補正を行う。
【００２１】
本実施形態の画素コピー処理部２０３は、後述する画素コピー処理を実施する。
フィルタ処理部２０４は、画素コピー処理が実施された画素データに対して、例えば、注目画素の左右３画素分の参照画素を必要とする７画素分のフィルタ係数を有するローパスフィルタ処理を実施する。
同時化処理部２０５は、画素補間演算処理を実施して、各画素におけるＲ色、Ｇ色、Ｂ色の信号値を算出し、同時化処理を実施する。
ＹＵＶ変換処理部２０６は、ＲＧＢの信号データを、輝度信号Ｙ、色差信号Ｕ、Ｖから構成されるＹＵＶの信号データに変換する。
ガンマ補正処理部２０７は、信号値の変換テーブルを元に、ＹＵＶ変換処理部２０６から出力されたＹＵＶの信号データの信号値の変換を行うガンマ補正処理を実施する。その後は、目的に応じた各種画像処理が実施される。
【００２２】
図３は、画像処理回路１０４の画素コピー処理部２０３の構成の一例を示す図である。
画素コピー処理制御部３３０は、画素コピー処理部２０３全体の制御を司る。
画素コピー処理制御部３３０には、前段のゲイン補正処理部２０２から有効画素データが入力されたことを通知するＶＡＬＩＤ＿ＩＮ信号（Ｓｉｇ＿３０２）が入力される。また、画素コピー処理制御部３３０は、有効画素データが出力されることを後段のフィルタ処理部２０４へ通知するＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。
また、画素コピー処理制御部３３０は、後段のフィルタ処理部２０４からの処理停止信号ＳＴＯＰ＿ＩＮ信号（Ｓｉｇ＿３０４）を入力する。ＳＴＯＰ＿ＩＮ信号（Ｓｉｇ＿３０４）がＨｉｇｈレベルの時は、画素コピー処理制御部３３０は、画素コピー処理部２０３の処理を停止させる。
【００２３】
ＳＴＯＰ＿ＯＵＴ信号（Ｓｉｇ＿３０１）がＨｉｇｈレベルの時に、画素コピー処理制御部３３０は、前段のゲイン補正処理部２０２からの有効画素データの入力を停止させる。画素コピー処理制御部３３０は、ＨｉｇｈレベルのＳＴＯＰ＿ＩＮ信号（Ｓｉｇ＿３０４）の入力時と、画素データコピー処理部３３２の画素コピー処理中に、ゲイン補正処理部２０２へＨｉｇｈレベルのＳＴＯＰ＿ＯＵＴ信号（Ｓｉｇ＿３０１）を出力する。これにより、画素コピー処理制御部３３０は、ゲイン補正処理部２０２から画素コピー処理部２０３に有効画素データが入力することを停止させる。
【００２４】
ラインバッファメモリ部３３１は、１ラインの画素データの数とカラーフィルタ配列の画素周期の数（図１０のカラーフィルタ配列の場合は６画素）とを加算した数分のラインバッファメモリ（ＦＩＦＯ形式）を有する。
ラインバッファメモリ部３３１は、前段のゲイン補正処理部２０２から画素データを転送するＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）を入力する。ラインバッファメモリ部３３１は、ＶＡＬＩＤ＿ＩＮ信号（Ｓｉｇ＿３０２）がＨｉｇｈレベルの時に、ＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）を有効画素データとして記憶する。各有効画素データは、ＶＡＬＩＤ＿ＩＮ信号（Ｓｉｇ＿３０２）がＨｉｇｈレベルの時にクロック１サイクルにつき１画素取り込まれる。
【００２５】
ＬＩＮＥＢＵＦ＿ＯＵＴＥＮ信号（Ｓｉｇ＿３１１）は、画素コピー処理制御部３３０からのラインバッファメモリ部３３１の読み出し信号である。ＬＩＮＥＢＵＦ＿ＯＵＴＥＮ信号（Ｓｉｇ＿３１１）がＨｉｇｈレベル時に、ラインバッファメモリ部３３１から有効画素データがＢＵＦ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２０）として出力される。
画素データコピー処理部３３２は、画像の端部の有効画素データを、画像の端部の外側に参照画素データとして付加する画素コピー処理を実施する。ここで、画像コピー処理が行われた参照画素データとは、フィルタ処理部２０４におけるローパスフィルタ処理で使用される、７画素分のフィルタ係数を有するフィルタの注目画素が、画像の端部に位置する際に参照される画素データである。
【００２６】
画素データコピー処理部３３２は、画像データの２ライン分の有効画素データのうち、左端部と右端部の有効画素データと、出力処理中の次のラインの左端部と右端部の参照画素データと、を保存するバッファメモリ部３４０を有する。
バッファメモリ部３４０は、有効画素データ格納用のバッファメモリＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ＿２Ｌ（３５３）、Ｍ＿２Ｒ（３５４）を有する。さらにバッファメモリ部３４０は、参照画素データ格納用のバッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）、Ｍ＿ＲＥＦ＿Ｒ（３５６）を有する。
バッファメモリＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ２＿Ｌ（３５３）、Ｍ２＿Ｒ（３５４）は、それぞれ、図１０に示すカラーフィルタ配列の画素周期の数（６画素分）の画素データを格納する。
【００２７】
バッファメモリＭ＿１Ｌ（３５１）、Ｍ＿２Ｌ（３５３）には、第１ライン目、第２ライン目の画像データの左端部の有効画素データ６画素分が、それぞれ格納される。
バッファメモリＭ＿１Ｒ（３５２）、Ｍ＿２Ｒ（３５４）には、第１ライン目、第２ライン目の画像データの右端部の有効画素データ６画素分が、それぞれ格納される。
また、画素データコピー処理部３３２は、画素コピー処理された参照画素データを１ライン遅れで出力するため、当該参照画素データを格納するためのバッファメモリを２個有する。当該参照画素データを格納するためのバッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）、Ｍ＿ＲＥＦ＿Ｒ（３５６）には、１ライン遅れで出力されるラインの左端部の参照画素データ、右端部の参照画素データが格納される。
【００２８】
画素データコピー処理部３３２は、画素コピー処理制御部３３０からのＣＯＰＹＢＵＦ＿ＩＮＥＮ信号（Ｓｉｇ＿３４０）がＨｉｇｈレベルの時に、画像の端部の有効画素データを、４個のバッファメモリに順序格納する。格納される順番は、バッファメモリＭ＿１Ｌ（３５１）→Ｍ＿１Ｒ（３５２）→Ｍ＿２Ｌ（３５３）→Ｍ＿２Ｒ（３５４）→Ｍ＿１Ｌ（３５１）→・・・の順番である。１つのバッファメモリに６画素分の画素データの書き込みが完了したら、次のバッファメモリに対する書き込みが行われる。
【００２９】
画素コピー処理制御部３３０は、画素コピー処理の開始の時に、ＨｉｇｈレベルのＣＯＰＹ＿ＳＴＡＲＴ信号（Ｓｉｇ＿３４１）を画素データコピー処理部３３２に１パルス分出力し、画素コピー処理の開始を指示する。
画像の左端部と右端部の各端部の画素コピー処理の完了時に、画素データコピー処理部３３２は、ＨｉｇｈレベルのＣＯＰＹ＿ＥＮＤ信号（Ｓｉｇ＿３５１）を画素コピー処理制御部３３０に出力し、画素コピー処理の完了を通知する。
【００３０】
画素データコピー処理部３３２から画素コピー処理制御部３３０へ出力されるＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）は、バッファメモリ部３４０から参照画素データが読み出されている際にＨｉｇｈレベルとなる。読み出された参照画素データは、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）としてセレクタ部３３３に出力される。
画素コピー処理制御部３３０は、ＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）がＨｉｈｇレベルの時にＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。これにより、前述したように、有効画素データが出力されることがフィルタ処理部２０４へ通知される。
【００３１】
画素データコピー処理部３３２のカラーＩＤ探索部３４１は、バッファメモリ部３４０に格納された有効画素データのうち、どの有効画素データを参照画素データとして出力するかを探索し、設定する。カラーＩＤ探索部３４１の動作については後に詳述する。
セレクタ部３３３は、後段のフィルタ処理部２０４へ、画素データ信号ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）を出力する。画素コピー処理制御部３３０からセレクタ部３３３に出力されるＳＥＬ信号（Ｓｉｇ＿３１４）がＨｉｇｈレベルのとき、ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）として、参照画素データであるＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）が出力される。一方、ＳＥＬ信号（Ｓｉｇ＿３１４）がＬｏｗレベルのとき、ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）として、ラインバッファメモリ部３３１に記憶された有効画素データであるＢＵＦ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２０）が出力される。
【００３２】
レジスタ部３３４は、画素コピー処理部２０３を制御するための設定値を書き込む複数のレジスタを有する。各レジスタは、画素コピー処理制御部３３０、画素データコピー処理部３３２へ結線されており、各処理部で適時レジスタ値が読み出される。尚、画素コピー処理が開始される前に、ＣＰＵ（システム制御部）１０７からのＲｅａｄ／Ｗｒｉｔｅ信号により、レジスタ部３３４のレジスタに対する設定値の読み出し、書き込みが実行される。
以下、レジスタ部３３４の有するレジスタの一例について説明する。
画像データの水平画素数及び垂直画素数は、レジスタ部３３４のＨ＿ＰＩＸレジスタ及びＶ＿ＰＩＸレジスタに設定される。
画素コピー処理される参照画素データの画素数として、左端部の参照画像データの画素数は、ＨＬ＿ＲＥＦ＿ＰＩＸレジスタに設定され、右端部の参照画像データの画素数は、ＨＲ＿ＲＥＦ＿ＰＩＸレジスタに設定される。
【００３３】
画素コピー処理のコピー元となる有効画素データの画素数として、左端部の有効画素データの画素数は、ＨＬ＿ＶＡＬ＿ＰＩＸレジスタに設定され、右端部の有効画素データの画素数は、ＨＲ＿ＶＡＬ＿ＰＩＸレジスタに設定される。
図４（ａ）は、カラーＩＤ探索部３４１が参照するカラーＩＤレジスタの設定値の一例を示す図である。尚、以下の説明では、カラーＩＤレジスタを必要に応じてＣＩＤレジスタと称する。
【００３４】
レジスタ部３３４のＣＩＤレジスタは、図１０に示すカラーフィルタ配列の周期に合わせて６×６画素分の設定値を保持可能なレジスタ構成を有する。
ＣＩＤレジスタには、カラーフィルタの各色に対応したカラーＩＤ値が設定される。本実施形態では、Ｒ色の画素位置に「０」、Ｇ色の画素位置に「１」、Ｂ色の画素位置に「２」のカラーＩＤ値が設定される。ＣＩＤレジスタのカラーＩＤ値は、カラーＩＤ探索部３４１で、参照画素データのコピー元となる有効画素データの画素位置を探索する際に参照される。
【００３５】
ＣＩＤレジスタは、図４（ａ）に示す水平方向のカラーＩＤアドレス値ＣＩＤＸと、垂直方向のカラーＩＤアドレス値ＣＩＤＹとを持ち、これらにより、各カラーＩＤの位置を指定することができる。以下の説明では、水平方向のカラーＩＤアドレス値ＣＩＤＸと、垂直方向のカラーＩＤアドレス値ＣＩＤＹの組み合わせを必要に応じてＣＩＤアドレス値と称する。参照画素データの画素位置や有効画素データの画素位置は、ＣＩＤアドレス値により指定される。
【００３６】
画像データの第１ライン目の左端部における参照画素データの始点画素位置は、ＣＩＤアドレス値を用いて、レジスタ部３３４のＬ＿ＲＥＦ＿ＣＩＤＸレジスタ及びＬ＿ＲＥＦ＿ＣＩＤＹレジスタに設定される。
有効画素データの始点画素位置は、レジスタ部３３４のＬ＿ＶＡＬ＿ＣＩＤＸレジスタ及びＬ＿ＶＡＬ＿ＣＩＤＹレジスタに設定される。
同じく画像データの第１ライン目の右端部における参照画素データの始点画素位置は、ＣＩＤアドレス値を用いて、レジスタ部３３４のＲ＿ＲＥＦ＿ＣＩＤＸレジスタ及びＲ＿ＲＥＦ＿ＣＩＤＹレジスタに設定される。
【００３７】
有効画素データの終点画素位置は、レジスタ部３３４のＲ＿ＶＡＬ＿ＣＩＤＸレジスタ及びＲ＿ＶＡＬ＿ＣＩＤＹレジスタに設定される。
参照画像データの探索用として使用するカラーＩＤの組み合わせ画素ブロック数の水平画素数及び垂直画素数は、レジスタ部３３４のＢＬＫ＿Ｘレジスタ及びＢＬＫ＿Ｙレジスタに設定される。
【００３８】
図５は、画像の両端部の画素コピー処理の結果の一例を示す図である。図５中の白色の画素データは、画素コピー処理により、画像の左端部及び右端部に外挿される参照画素データである。一方、網点の画素データは、有効画素データを示す。
第１ライン目及び第２ライン目の左端部の画素ブロック５０１、５０２、５０３は画素コピー処理された参照画素データを表す。
第１ライン目及び第２ライン目の右端部の画素ブロック５０８、５０９、５１０は、画素コピー処理された参照画素データを表す。
第１ライン目及び第２ライン目の画素ブロック５０４〜５０７は有効画素データを表す。
【００３９】
以下に説明する画素コピー処理により、画像の左端部の画素ブロック５０１及び５０３の参照画素データには、画素ブロック５０５のＲ色とＧ色の有効画素データが上下反転されてコピー処理される。画素ブロック５０２の参照画素データには、画素ブロック５０４のＧ色とＢ色の有効画素データが上下反転されてコピー処理される。
画像の右端部の画素ブロック５０８及び５１０の参照画素データには、画素ブロック５０６のＢ色とＧ色の有効画素データが上下反転されてコピー処理される。画素ブロック５０９の参照画素データには、画素ブロック５０７のＧ色とＲ色の有効画素データが上下反転されてコピー処理される。
【００４０】
第３ライン目、第４ライン目の画像の左端部の画素ブロック５３１及び５３３の参照画素データには、画素ブロック５３４の２画素分のＧ色の有効画素データがコピー処理される。画素ブロック５３２の参照画素データには、画素ブロック５３５のＲ色とＢ色の有効画素データが上下反転されてコピー処理される。
第３ライン目、第４ライン目の画像の右端部の画素ブロック５３８及び５４０の参照画素データには、画素ブロック５３８の２画素分のＧ色の有効画素データがコピー処理される。画素ブロック５３９の参照画素データには、画素ブロック５３６のＢ色とＲ色の有効画素データが上下反転されてコピー処理される。
【００４１】
第５ライン目、第６ライン目の画像の左端部の画素ブロック５５１及び５５３の参照画素データには、画素ブロック５５４のＲ色とＧ色の有効画素データが上下反転されてコピー処理される。画素ブロック５５２の参照画素データには、画素ブロック５５４のＲ色とＧ色の有効画素データが上下反転されてコピー処理される。
第５ライン目、第６ライン目の画像の右端部の画素ブロック５５８及び５６０の参照画素データには、画素ブロック５５６のＧ色とＲ色の有効画素データが上下反転されてコピー処理される。画素ブロック５５９の参照画素データには、画素ブロック５５６のＧ色とＲ色の有効画素データが上下反転されてコピー処理される。
【００４２】
図６は、図３に示す画素コピー処理部２０３内の各信号の処理内容の概要の一例を示すタイミングチャートである。
以下、図６のタイミングチャートを参照しながら、図５に示す４ライン分（第１〜４ライン目）の左端部及び右端部に、水平方向３画素分の参照画素データをコピーする（画素コピー処理を実施する）際の動作の一例を説明する。
【００４３】
図６の期間Ａにおいて、ＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）として有効画素データが入力されるより以前に、ＣＰＵ１０７（システム制御部）は、レジスタ部３３４の各レジスタに対して以下の設定値を書き込む。
本実施形態では、画像データのサイズが１２８０×９６０ピクセルであるものとする。したがって、「Ｈ＿ＰＩＸレジスタ＝１２８０、Ｖ＿ＰＩＸレジスタ＝９６０」を設定する。
画像の左端部及び右端部に水平方向３画素分の参照画素データをコピーする（画素コピー処理を実施する）ので、「ＨＬ＿ＲＥＦ＿ＰＩＸレジスタ＝３、ＨＲ＿ＲＥＦ＿ＰＩＸレジスタ＝３」を設定する。
【００４４】
ＣＩＤレジスタには、図１０に示すカラーフィルタ配列の組み合わせに合わせて、図４（ａ）に示すカラーＩＤの値を設定する。
図５に示す参照画素データの始点画素位置は、第１ライン目の左端のＧ色の画素データの位置（画素ブロック５０１のＧ色の画素の位置）となる。ＣＩＤレジスタで、この位置に対応するカラーＩＤのＣＩＤアドレス値は、図４（ｂ）の画素位置４０１（ＣＩＤＸ＝０、ＣＩＤＹ＝０）となる。したがって、「Ｌ＿ＲＥＦ＿ＣＩＤＸレジスタ＝０、Ｌ＿ＲＥＦ＿ＣＩＤＹレジスタ＝０」の設定を行う。
【００４５】
図５に示す有効画素データの始点画素位置は、第１ライン目の４番目のＧ色の画素データの位置（画素ブロック５０４のＧ色の画素の位置）となる。ＣＩＤレジスタで、この位置に対応するカラーＩＤのＣＩＤアドレス値は、図４（ｂ）の画素位置４０２（ＣＩＤＸ＝３、ＣＩＤＹ＝０）となる。したがって、「Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ＝３、Ｌ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定を行う。
図５に示す参照画素データの始点画素位置は、第１ライン目の右端のＧ色の画素データの位置（画素ブロック５０８のＧ色の画素の位置）となる。ＣＩＤレジスタで、この位置に対応するカラーＩＤのＣＩＤアドレス値は、図４（ｃ）の画素位置４０８（ＣＩＤＸ＝３、ＣＩＤＹ＝０）となる。したがって、「Ｒ＿ＲＥＦ＿ＣＩＤＸレジスタ＝３、Ｒ＿ＲＥＦ＿ＣＩＤＹレジスタ＝０」の設定を行う。
【００４６】
図５に示す有効画素データの終点画素位置は、第１ライン目の右端から４番目のＧ色の画素データの位置（画素ブロック５０７のＧ色の画素の位置）となる。ＣＩＤレジスタで、この位置に対応するカラーＩＤのＣＩＤアドレス値は、図４（ｃ）の画素位置４１２（ＣＩＤＸ＝２、ＣＩＤＹ＝０）となる。したがって、「Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタ＝２、Ｒ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定を行う。
図１０に示す本実施形態の撮像素子１０２のカラーフィルタ配列は、上端の２ラインは、上下にＧ色及びＲ色の組み合わせと、Ｂ色及びＧ色の組み合わせとで構成される。中央の２ラインは、上下にＧ色及びＧ色の組み合わせとＢ色及びＲ色の組み合わせとで構成される。下端の２ラインは、上下にＢ色及びＧ色の組み合わせとＧ色及びＲ色の組み合わせとで構成される。
【００４７】
よって、画素コピー処理される参照画素データを、２ラインに跨る上下の色の組み合わせからなる画素ブロック（サイズは水平画素数１、垂直画素数２）に設定すれば、当該２ライン内に、上下の色の組み合わせが同じコピー元の有効画素データが必ず存在する。以上より、カラーＩＤ探索部３４１で、参照画素データの探索用として使用するカラーＩＤの組み合わせ画素ブロック数は、水平画素数「１」、垂直画素数「２」となる。したがって、「ＢＬＫ＿Ｘレジスタ＝１、ＢＬＫ＿Ｙレジスタ＝２」を設定する。
また、図１０に示すカラーフィルタの配列は６画素周期である。画素コピー処理のコピー元となる有効画素データは、１周期内に必ず存在する。したがって、「ＨＬ＿ＶＡＬ＿ＰＩＸレジスタ＝６、ＨＲ＿ＶＡＬ＿ＰＩＸレジスタ＝６」に設定する。前述したように、ＨＬ＿ＶＡＬ＿ＰＩＸレジスタ、ＨＲ＿ＶＡＬ＿ＰＩＸレジスタの値は、画素コピー処理のコピー元となる有効画素データの左端部・右端部の画素数である。
【００４８】
図６において、ＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）の画素データ１Ｌは、第１ライン目の画素データの左端部の有効画素データ６画素分を示す。当該６画素分の画素データが、画像の左端部の画素コピー処理の際に、コピー元となる有効画素データとなる。以下、図６の表記で、画素データ２Ｌ、３Ｌ、・・・は、２ライン目、３ライン目・・・の左端部のコピー元となる有効画素データ６画素分を示す。
同様に図６において、ＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）の画素データ１Ｒは、第１ライン目の画素データの右端部の有効画素データ６画素分を示す。当該６画素分の画素データが、画像の右端部の画素コピー処理の際に、コピー元となる有効画素データとなる。以下、図６の表記で、画素データ２Ｒ、３Ｒ・・・は、２ライン目、３ライン目・・・の右端部のコピー元となる有効画素データ６画素分を示す。
【００４９】
図６の表記で、ＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）の画素データ１Ｍは、第１ライン目の画素データのうち、画素データ１Ｌ及び１Ｒ以外の画素データであり、画素コピー処理の際には使用されない。以下、図６の表記で、画素データ２Ｍ、３Ｍ・・・は、２ライン目、３ライン目・・・の画素データのうち、画素データ２Ｌ及び２Ｒ、３Ｌ及び３Ｒ・・・以外の画素データを示す。
【００５０】
一方、図６において、ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）の画素データ１Ｌ'は、第１ライン目の左端部の画素コピー処理された参照画素データ３画素分を示す。以下、図６の表記で、画素データ２Ｌ'、３Ｌ'・・・は２ライン目、３ライン目・・・の左端部の画素コピー処理された参照画素データを示す。
同様に、図６において、ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）の画素データ１Ｒ'は、第１ライン目の右端部の画素コピー処理された参照画素データ３画素分を示す。以下、図６の表記で、画素データ２Ｒ'、３Ｒ'・・・は２ライン目、３ライン目・・・の右端部の画素コピー処理された参照画素データを示す。
【００５１】
図６に示す期間Ａ中に、前段のゲイン補正処理部２０２からＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）として１ライン目の有効画素データ（画素データ１Ｌ、１Ｍ、１Ｒ）と２ライン目の左端部の６画素分の有効画素データ（画素データ２Ｌ）が入力される。
画素コピー処理制御部３３０は、レジスタ部３３４のレジスタの値（「Ｈ＿ＰＩＸレジスタ＝１２８０」と、「ＨＬ＿ＶＡＬ＿ＰＩＸレジスタ＝６、ＨＲ＿ＶＡＬ＿ＰＩＸレジスタ＝６」）とを参照し、以下の処理を実施する。前述したように、Ｈ＿ＰＩＸレジスタは、画像データの水平画素数である。ＨＬ＿ＶＡＬ＿ＰＩＸレジスタは、コピー元となる有効画素データの左端部の画素数であり、ＨＲ＿ＶＡＬ＿ＰＩＸレジスタは、コピー元となる有効画素データの右端部の画素数である。
【００５２】
画素コピー処理制御部３３０は、これらのレジスタの値を元に、カウンタ回路（不図示）により制御タイミングを作成し、ＣＯＰＹＢＵＦ＿ＩＮＥＮ信号（Ｓｉｇ＿３４０）を生成する。ＣＯＰＹＢＵＦ＿ＩＮＥＮ信号（Ｓｉｇ＿３４０）は、画素データ１Ｌ、１Ｒ、２Ｌ、２Ｒ、３Ｌ、３ＲがＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）として入力される際にＨｉｇｈレベルとなる。ＣＯＰＹＢＵＦ＿ＩＮＥＮ信号（Ｓｉｇ＿３４０）がＨｉｇｈレベルの期間中に、画素データコピー処理部３３２は、バッファメモリ部３４０に画素データ１Ｌ、１Ｒ、２Ｌ、２Ｒ・・を順番に格納する。
【００５３】
図７（ａ）〜（ｄ）は、各期間において、バッファメモリ部３４０のバッファメモリＭ＿１Ｌ、Ｍ＿１Ｒ、Ｍ＿２Ｌ、Ｍ＿２Ｒ及びバッファメモリＭ＿ＲＥＦ＿Ｌ、Ｍ＿ＲＥＦ＿Ｒに格納される画素データの内容の一例を模式的に示す図である。具体的に図７（ａ）、（ｂ）、（ｃ）、（ｄ）は、各々、図６に示す期間Ａ、Ｃ、Ｆ、Ｉが完了したときの状態を示す。
尚、図７に表記されるアドレス値ＭＬ＿ＣＩＤＸ、ＭＲ＿ＣＩＤＸは、各々、バッファメモリＭ＿１Ｌ（３５１）及びＭ＿２Ｌ（３５３）、Ｍ＿１Ｒ（３５２）及びＭ＿２Ｒ（３５４）のアドレス値を示す。これらのアドレス値は、ＣＩＤレジスタのＣＩＤアドレス値ＣＩＤＸに対応する。
【００５４】
「ＭＬ＿ＣＩＤＸ＝０」の位置は「Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ」で指定されるＣＩＤアドレス値となり、「Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ＝３」よりＣＩＤレジスタの「ＣＩＤＸ＝３」の位置に対応する。尚、前述したように、Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタは、第１ライン目の左端部における有効画素データの始点画素位置を示す。以降順番に「ＭＬ＿ＣＩＤＸ＝１，２，３，４，５」はＣＩＤレジスタの「ＣＩＤＸ＝４，５，０，１，２」に対応する。
【００５５】
一方、「ＭＲ＿ＣＩＤＸ＝５」の位置は「Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタ」で指定されるＣＩＤアドレス値となり、「Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタ＝２」よりＣＩＤレジスタの「ＣＩＤＸ＝２」の位置に対応する。尚、前述したように、Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタは、第１ライン目の右端部における有効画素データの始点画素位置を示す。以降順番に「ＭＲ＿ＣＩＤＸ＝４，３，２，１，０」はＣＩＤレジスタの「ＣＩＤＸ＝１，０，５，４，３」に対応する。
【００５６】
カラーＩＤ探索部３４１は、参照画素データのコピー元となる有効画素データの位置をＣＩＤレジスタにより判定し、その結果に基づいて、ＭＬ＿ＣＩＤＸ及びＭＲ＿ＣＩＤＸで示される位置に格納されている有効画素データを読み出す。
期間Ａでは、図７（ａ）に示すように、バッファメモリＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ２＿Ｌ（３５３）に、有効画素データ１Ｌ、１Ｒ、２Ｌがそれぞれ格納される。また、ラインバッファメモリ部３３１に、１ライン目の有効画素データ（１Ｌ、１Ｍ、１Ｒ）と有効画素データ２Ｌとが格納される。
【００５７】
次に、期間Ｂでは、画素コピー処理制御部３３０は、前段のゲイン補正処理部２０２に対して、ＨｉｇｈレベルのＳＴＯＰ＿ＯＵＴ信号（Ｓｉｇ＿３０１）を出力し、ＤＡＴＡ＿ＩＮ信号（Ｓｉｇ＿３０３）への有効画素データの入力を停止させる。
次に、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＣＯＰＹ＿ＳＴＡＲＴ信号（Ｓｉｇ＿３４１）を画素データコピー処理部３３２に出力する。これにより、画素データコピー処理部３３２は画素コピー処理を開始する。期間Ｂでは、第１ライン目の左端部の参照画素データの画素コピー処理が実施される。
【００５８】
以下、図４及び図７を参照しながら、画素コピー処理の内容の一例について説明する。
期間Ｂの第１の処理として、１ライン目の左端１画素目の参照画素データ（図５の画素ブロック５０１のＧ色）の画素コピー処理が行われる。
ここでは、「Ｌ＿ＲＥＦ＿ＣＩＤＸレジスタ＝０、Ｌ＿ＲＥＦ＿ＣＩＤＹレジスタ＝０」の設定になっている。したがって、画素コピー処理される画素ブロック５０１のカラーＩＤの組み合わせは、図４（ｂ）の画素ブロック４１１の組み合わせ（１，０）に対応する。尚、前述したように、Ｌ＿ＲＥＦ＿ＣＩＤＸレジスタ及びＬ＿ＲＥＦ＿ＣＩＤＹレジスタは、第１ライン目の左端部における参照画素データの始点画素位置を示すものである。
【００５９】
ここでは、「Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ＝３、Ｌ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定になっている。したがって、画素コピー処理のコピー元となる有効画素データの画素ブロック５０４のカラーＩＤの組み合わせは、図４（ｂ）の画素ブロック４１４の組み合わせ（１，２）に対応する。尚、前述したように、Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ、Ｌ＿ＶＡＬ＿ＣＩＤＹレジスタは、第１ライン目の左端部における有効画素データの始点画素位置を示すものである。
【００６０】
また、画素ブロック４１４のＣＩＤアドレス値は「ＣＩＤＸ＝３」であり、このＣＩＤアドレス値は、図７（ａ）のバッファメモリのアドレス値「ＭＬ＿ＣＩＤＸ＝０」の位置が対応する。従って、画素ブロック４１４に対応する有効画素データは、バッファメモリＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素ブロック７０１の有効画素データとなる。
カラーＩＤ探索部３４１は、図４（ｂ）に示すＣＩＤレジスタの画素ブロック４１４からカラーＩＤの値の読み出しを開始し、図中右方向に各画素ブロックのカラーＩＤの値を最大６アドレス分読み出す。尚、「ＣＩＤＸ＝５」の位置まで移動した場合は、次に「ＣＩＤＸ＝０」の位置に移動する。
【００６１】
比較回路（不図示）にて、読み出されたカラーＩＤの値と、参照画素データの画素ブロック４１１のカラーＩＤの組み合わせ（１，０）とを比較し、同じカラーＩＤの組み合わせを有する画素ブロックを探索する。
画素ブロック４１４のカラーＩＤの組み合せは（１，２）であるから、その右隣の画素ブロック４１５に移行する。
画素ブロック４１５のカラーＩＤの組み合わせは（０，１）であるから、比較回路で、参照画素データの画素ブロック４１１のカラーＩＤの組み合わせ（１，０）と等しいと判定される。
【００６２】
また、画素ブロック４１５のＣＩＤアドレス値は「ＣＩＤＸ＝４」であり、図７（ａ）のバッファメモリのアドレス値「ＭＬ＿ＣＩＤＸ＝１」の位置が対応する。従って、画素ブロック４１５に対応する有効画素データは、ラインバッファメモリＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素ブロック７０２の有効画素データとなる。
次に、このラインバッファメモリＭ＿２Ｌの画素ブロック７０２のＧ色が１ライン目の左端１画素目の参照画素データ（図５の画素ブロック５０１のＧ色）として、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力される。尚、期間Ｂ中は、セレクタ部３３３により、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）がＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）と接続される。
【００６３】
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）が出力される。
一方、ラインバッファメモリＭ＿１Ｌ及びＭ＿２Ｌの画素ブロック７０２のＲ色は、２ライン目の左端１画素目の参照画素データになるため、バッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）に格納される。
【００６４】
期間Ｂの第２の処理として、１ライン目の左端２画素目の参照画素データ（図５の画素ブロック５０２のＢ色）の画素コピー処理が行われる。
期間Ｂの第１の処理では、「Ｌ＿ＲＥＦ＿ＣＩＤＸレジスタ＝０、Ｌ＿ＲＥＦ＿ＣＩＤＹレジスタ＝０」の設定により、画素コピー処理される画素ブロック５０１のカラーＩＤの組み合わせは、画素ブロック４１１の組み合わせに対応すると判定される。そこで、画素コピー処理される参照画素データの画素ブロック５０２のカラーＩＤの組み合わせは、図４（ｂ）において、画素ブロック４１１の右隣りの画素ブロック４１２の組み合わせ（２，１）に移動する。
【００６５】
ここでは、「Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ＝３、Ｌ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定となっている。したがって、期間Ｂの第１の処理と同様に、画素コピー処理のコピー元となる有効画素データの画素ブロック５０４のカラーＩＤの組み合わせは、図４（ｂ）の画素ブロック４１４の組み合わせ（１，２）に対応する。カラーＩＤ探索部３４１は、図４（ｂ）に示すＣＩＤレジスタの画素ブロック４１４からカラーＩＤの値の読み出しを開始し、図中右方向に各画素ブロックのカラーＩＤの値を最大６アドレス分読み出す。
比較回路（不図示）にて、読み出されたカラーＩＤの値と、参照画素データの画素ブロック４１２のカラーＩＤの組み合わせ（２，１）とを比較し、同じカラーＩＤの組み合わせを有する画素ブロックを探索する。
画素ブロック４１４のカラーＩＤの組み合わせは（１，２）であるから、比較回路で、参照画素データの画素ブロック４１２のカラーＩＤの組み合わせ（２，１）と等しいと判定される。
【００６６】
前述したように、画素ブロック４１４は、図７（ａ）に示すラインバッファＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素データでは画素ブロック７０１に対応する。
次に、このラインバッファメモリＭ＿２Ｌの画素ブロック７０１のＢ色が１ライン目の左端の２画素目の参照画素データ（図５の画素ブロック５０２のＢ色）として、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力される。
【００６７】
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）
が出力される。
一方、ラインバッファメモリＭ＿１Ｌ及びＭ＿２Ｌの画素ブロック７０１のＢ色は、２ライン目の左端２画素目の参照画素データになるため、バッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）に格納される。
【００６８】
期間Ｂの第３の処理として、１ライン目の左端３画素目の参照画素データ（図５の画素ブロック５０３のＧ色）の画素コピー処理が行われる。
前述したように、期間Ｂの第２の処理では、画素コピー処理される参照画素データの画素ブロック５０２のカラーＩＤの組み合わせは、画素ブロック４１２の組み合わせ（２，１）に対応する。そこで、画素コピー処理される参照画素データの画素ブロック５０３のカラーＩＤの組み合わせは、図４（ｂ）において、画素ブロック４１２の右隣りの画素ブロック４１３の組み合わせ（１，０）に移動する。
【００６９】
ここでは、「Ｌ＿ＶＡＬ＿ＣＩＤＸレジスタ＝３、Ｌ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定となっている。したがって、期間Ｂの第１の処理と同様に、画素コピー処理のコピー元となる有効画素データの画素ブロック５０４のカラーＩＤの組み合わせは、図４（ｂ）の画素ブロック４１４の組み合わせ（１，２）に対応する。カラーＩＤ探索部３４１は、図４（ｂ）に示すＣＩＤレジスタの画素ブロック４１４からカラーＩＤの値の読み出しを開始し、図中右方向に各画素ブロックのカラーＩＤの値を最大６アドレス分読み出す。
比較回路（不図示）にて、読み出されたカラーＩＤの値と、参照画素データの画素ブロック４１３のカラーＩＤの組み合わせ（１，０）とを比較し、同じカラーＩＤの組み合わせを有する画素ブロックを探索する。そして、期間Ｂの第１の処理と同様に、画素ブロック４１５のカラーＩＤの組み合わせは（０，１）であるから、比較回路で、参照画素データの画素ブロック４１３のカラーＩＤの組み合わせ（１，０）と等しいと判定される。
【００７０】
また、画素ブロック４１５のＣＩＤアドレス値は「ＣＩＤＸ＝４」であり、図７（ａ）のバッファメモリのアドレス値「ＭＬ＿ＣＩＤＸ＝１」の位置が対応する。従って、画素ブロック４１５に対応する有効画素データは、ラインバッファメモリＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素ブロック７０２の有効画素データに対応する。
次に、このラインバッファメモリＭ＿２Ｌの画素ブロック７０２のＧ色が１ライン目の左端３画素目の参照画素データ（図５の画素ブロック５０３のＧ色）として、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力される。尚、期間Ｂ中は、セレクタ部３３３により、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）がＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）と接続される。
【００７１】
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）が出力される。
一方、ラインバッファメモリＭ＿１Ｌ及びＭ＿２Ｌの画素ブロック７０２のＲ色は、２ライン目の左端３画素目の参照画素データになるため、バッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）に格納される。
【００７２】
以上で、「ＨＬ＿ＲＥＦ＿ＰＩＸレジスタ＝３」で設定された左端３画素分の参照画素データの画素コピー処理が完了する。よって、画素データコピー処理部３３２は、ＨｉｇｈレベルのＣＯＰＹ＿ＥＮＤ信号（Ｓｉｇ＿３５１）を１パルス分、画素コピー処理制御部３３０に出力する。
【００７３】
次に、期間Ｃにおいて、画素コピー処理制御部３３０は、ラインバッファメモリ部３３１に、ＨｉｇｈレベルのＬＩＮＥＢＵＦ＿ＯＵＴＥＮ信号（Ｓｉｇ＿３１１）を出力する。これにより、ラインバッファメモリ部３３１から、画素データ１Ｌ、１Ｍ、１Ｒが読み出され、ＢＵＦ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２０）として出力される。尚、期間Ｃ中は、セレクタ部３３３により、ＢＵＦ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２０）がＤＡＴＡ＿ＯＵＴ（Ｓｉｇ＿３０６）信号と接続される。
同じく期間Ｃ中は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＩＮ信号（Ｓｉｇ＿３０２）がラインバッファメモリ部３３１に入力され、２ライン目の画素データ２Ｍ、２Ｒ及び３ライン目の画素データ３Ｌがラインバッファメモリ部３３１に格納される。
【００７４】
図７（ｂ）は、期間Ｃが完了した時のバッファメモリ部３４０の４つのラインバッファＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ＿２Ｌ（３５３）、Ｍ＿２Ｒ（３５４）に格納される画素データの一例を模式的に示す図である。ラインバッファメモリＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ＿２Ｌ（３５３）、Ｍ＿２Ｒ（３５４）には、画素データ３Ｌ、１Ｒ、２Ｌ、２Ｒがそれぞれ格納される。バッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）には、２ライン目の左端部の参照画素データ２Ｌ'が格納される。
【００７５】
期間Ｄの第１の処理として、１ライン目の右端１画素目の参照画素データ（図５の画素ブロック５０８のＧ色）の画素コピー処理が行われる。
「Ｒ＿ＲＥＦ＿ＣＩＤＸレジスタ＝３、Ｒ＿ＲＥＦ＿ＣＩＤＹレジスタ＝０」の設定により、画素コピー処理される画素ブロック５０８のカラーＩＤの組み合わせは、図４（ｃ）の画素ブロック４１８の組み合わせ（１，２）に対応する。また、ここでは、「Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタ＝２、Ｒ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定になっている。したがって、画素コピー処理のコピー元となる有効画素データの画素ブロック５０７のカラーＩＤの組み合わせは、図４（ｃ）の画素ブロック４１７の組み合わせ（１，０）に対応する。
【００７６】
また、画素ブロック４１７のＣＩＤアドレス値は「ＣＩＤＸ＝２」であり、このＣＩＤアドレス値は、図７（ｂ）のバッファメモリのアドレス値「ＭＲ＿ＣＩＤＸ＝５」の位置が対応する。従って、画素ブロック４１７に対応する有効画素データは、バッファメモリＭ＿１Ｒ及びＭ＿２Ｒに格納されている画素ブロック７０４の有効画素データとなる。
カラーＩＤ探索部３４１は、図４（ｃ）のＣＩＤレジスタの画素ブロック４１７からカラーＩＤの値の読み出しを開始し、図中左方向に各画素ブロックのカラーＩＤの値を最大６アドレス分読み出す。尚、「ＣＩＤＸ＝０」の位置まで移動した場合は、次に「ＣＩＤＸ＝５」の位置に移動する。
【００７７】
比較回路（不図示）にて、読み出されたカラーＩＤの値と、参照画素データの画素ブロック４１８のカラーＩＤの組み合わせ（１，２）とを比較し、同じカラーＩＤの組み合わせを有する画素ブロックを探索する。
画素ブロック４１７のカラーＩＤの組み合わせは（１，０）であるから、その左隣の画素ブロック４１６に移行する。
画素ブロック４１６のカラーＩＤの組み合わせは（２，１）であるから、比較回路で、参照画素データの画素ブロック４１８のカラーＩＤの組み合わせ（１，２）と等しいと判定される。
【００７８】
また、画素ブロック４１６のＣＩＤアドレスは「ＣＩＤＸ＝１」であり、図７（ｂ）のバッファメモリのアドレス値「ＭＬ＿ＣＩＤＸ＝４」の位置が対応する。従って、画素ブロック４１６に対応する有効画素データは、バッファメモリＭ＿１Ｒ及びＭ＿２Ｒに格納されている画素ブロック７０３の有効画素データに対応する。
次に、このラインバッファメモリＭ＿２Ｒの画素ブロック７０３のＧ色が１ライン目の右端１画素目の参照画素データ（図５の画素ブロック５０８のＧ色）として、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力される。尚、期間Ｃ中は、セレクタ部３３３により、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）がＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）と接続される。
【００７９】
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）が出力される。
一方、ラインバッファメモリＭ＿１Ｒ及びＭ＿２Ｒの画素ブロック７０３のＢ色は、２ライン目の左端１画素目の参照画素データになるため、バッファメモリＭ＿ＲＥＦ＿Ｒ（３５６）に格納される。
【００８０】
期間Ｄの第２の処理として、１ライン目の右端２画素目の参照画素データ（図５の画素ブロック５０９のＲ色）の画素コピー処理が行われる。
期間Ｄの第１の処理では、「Ｒ＿ＲＥＦ＿ＣＩＤＸレジスタ＝３、Ｒ＿ＲＥＦ＿ＣＩＤＹレジスタ＝０」の設定により、画素コピー処理される画素ブロック５０８のカラーＩＤの組み合わせは、画素ブロック４１８の組み合わせに対応すると判定される。そこで、画素コピー処理される参照画素データの画素ブロック５０９のカラーＩＤの組み合わせは、図４（ｃ）において、画素ブロック４１８の右隣りの画素ブロック４１９の組合せ（０,１）に移動する。
【００８１】
ここでは、「Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタ＝２、Ｒ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定になっている。したがって、期間Ｄの第１の処理と同様に、画素コピー処理のコピー元となる有効画素データの画素ブロック５０７のカラーＩＤの組み合わせは、図４（ｃ）の画素ブロック４１７の組み合わせ（１，０）に対応する。カラーＩＤ探索部３４１は、図４（ｃ）に示すＣＩＤレジスタの画素ブロック４１７からカラーＩＤ値の読み出しを開始し、図中左方向に各画素ブロックのカラーＩＤ値を最大６アドレス分読み出す。
比較回路（不図示）にて、読み出されたカラーＩＤの値と、参照画素データの画素ブロック４１７のカラーＩＤの組み合わせ（０，１）とを比較し、同じカラーＩＤの組み合わせを有する画素ブロックを探索する。
画素ブロック４１７のカラーＩＤの組み合わせは（１，０）であるから、比較回路で、参照画素データの画素ブロック４１７のカラーＩＤの組み合わせ（０，１）と等しいと判定される。
【００８２】
尚、画素ブロック４１７は、図７（ｂ）のラインバッファＭ＿１Ｒ及びＭ＿２Ｒに格納されている画素データでは画素ブロック７０４に対応する。
次に、このラインバッファメモリＭ＿２Ｒの画素ブロック７０４のＲ色が１ライン目の右端２画素目の参照画素データ（図５の画素ブロック５０９のＲ色）として、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力される。
【００８３】
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）
が出力される。
一方、ラインバッファメモリＭ＿１Ｒ及びＭ２＿Ｒの画素ブロック７０４のＧ色は、２ライン目の右端２画素目の参照画素データになるため、バッファメモリＭ＿ＲＥＦ＿Ｒ（３５６）に格納される。
【００８４】
期間Ｄの第３の処理として、１ライン目の右端３画素目の参照画素データ（図５の画素ブロック５１０のＧ色）の画素コピー処理が行われる。
前述したように、期間Ｄの第２の処理では、画素コピー処理される参照画素データの画素ブロック５０９のカラーＩＤの組み合わせは、画素ブロック４１９の組み合わせ（０,１）に対応する。そこで、画素コピー処理される参照画素データの画素ブロック５１０のカラーＩＤの組み合わせは、図４（ｃ）において、画素ブロック４１９の右隣りの画素ブロック４２０の組み合わせ（１，２）に移動する。
【００８５】
ここでは、「Ｒ＿ＶＡＬ＿ＣＩＤＸレジスタ＝２、Ｒ＿ＶＡＬ＿ＣＩＤＹレジスタ＝０」の設定になっている。したがって、期間Ｄの第１の処理と同様に、画素コピー処理のコピー元となる有効画素データの画素ブロック５０７のカラーＩＤの組み合わせは、図４（ｃ）の画素ブロック４１７の組み合わせ（１，０）に対応する。カラーＩＤ探索部３４１は、図４（ｃ）に示すＣＩＤレジスタの画素ブロック４１７からカラーＩＤの値の読み出しを開始し、図中右方向に各画素ブロックのカラーＩＤの値を最大６アドレス分読み出す。
比較回路（不図示）にて、読み出されたカラーＩＤの値と、参照画素データの画素ブロック４２０のカラーＩＤの組み合わせ（１，２）とを比較し、同じカラーＩＤの組み合わせを有する画素ブロックを探索する。そして、期間Ｄの第１の処理と同様に、画素ブロック４１７のカラーＩＤの組み合わせは（１，０）であるから、その左隣の画素ブロック４１６に移行する。画素ブロック４１６のカラーＩＤの組み合わせは（２，１）であるから、比較回路で、参照画素データの画素ブロック４１８のカラーＩＤの組み合わせ（１，２）と等しいと判定される。
【００８６】
また、画素ブロック４１６のＣＩＤアドレス値は「ＣＩＤＸ＝１」であり、図７（ｂ）のバッファメモリのアドレス値「ＭＬ＿ＣＩＤＸ＝４」の位置が対応する。従って、画素ブロック４１６に対応する有効画素データは、ラインバッファメモリＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素ブロック７０３の有効画素データに対応する。
次に、このラインバッファメモリＭ＿２Ｒの画素ブロック７０３のＧ色が１ライン目の右端３画素目の参照画素データ（図５の画素ブロック５１０のＧ色）として、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力される。尚、期間Ｄ中は、セレクタ部３３３により、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）がＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）と接続される。
【００８７】
同時に、画素データコピー処理部３３２じゃ、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）が出力される。
一方、ラインバッファメモリＭ＿１Ｒ，Ｍ＿２Ｒの画素ブロック７０３のＢ色は、２ライン目の右端３画素目の参照画素データになるため、バッファメモリＭ＿ＲＥＦ＿Ｒ（３５６）に格納される。
【００８８】
次に、期間Ｅにおいて、画素データコピー処理部３３２は、バッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）に格納されている２ライン目の左端部の参照画素データ２Ｌ'を、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力する。尚、期間Ｅ中は、セレクタ部３３３により、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）がＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）と接続される。
【００８９】
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）が出力される。
以上で、「ＨＲ＿ＲＥＦ＿ＰＩＸレジスタ＝３」、「ＨＬ＿ＲＥＦ＿ＰＩＸレジスタ＝３」で設定された左端３画素分及び右端３画素分の参照画素データの画素コピー処理が完了する。よって、画素データコピー処理部３３２は、ＨｉｇｈレベルのＣＯＰＹ＿ＥＮＤ信号（Ｓｉｇ＿３５１）を１パルス分、画素コピー処理制御部３３０に出力する。
【００９０】
続く期間Ｆにおいて、画素コピー処理制御部３３０は、ラインバッファメモリ部３３１に、ＨｉｇｈレベルのＬＩＮＥＢＵＦ＿ＯＵＴＥＮ信号（Ｓｉｇ＿３１１）を出力する。これにより、ラインバッファメモリ部３３１から、画素データ２Ｌ、２Ｍ、２Ｒが読み出され、ＢＵＦ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２０）として出力される。尚、期間Ｆ中は、セレクタ部３３３により、ＢＵＦ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２０）がＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３０６）と接続される。
同じく期間Ｆ中は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＩＮ信号（Ｓｉｇ＿３０２）がラインバッファメモリ部３３１に入力され、３ライン目の画素データ３Ｍ、３Ｒ及び４ライン目の画素データ４Ｌがラインバッファメモリ部３３１に格納される。
【００９１】
図７（ｃ）は、期間Ｆが完了した時のバッファメモリ部３４０の４つのラインバッファＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ＿２Ｌ（３５３）、Ｍ＿２Ｒ（３５４）に格納される画素データの一例を模式的に示す図である。ラインバッファメモリＭ＿１Ｌ（３５１）、Ｍ＿１Ｒ（３５２）、Ｍ＿２Ｌ（３５３）、Ｍ＿２Ｒ（３５４）には、画素データ３Ｌ、３Ｒ、４Ｌ、２Ｒがそれぞれ格納される。バッファメモリＭ＿ＲＥＦ＿Ｒ（３５６）には、２ライン目の右端部の参照画素データ２Ｒ'が格納される。
【００９２】
続く期間Ｇにおいて、画素データコピー処理部３３２は、バッファメモリＭ＿ＲＥＦ＿Ｒ（３５６）に格納されている２ライン目の右端部の参照画素データ２Ｒ'を、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３２１）に出力する。尚、期間Ｇ中は、セレクタ部３３３により、ＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号がＤＡＴＡ＿ＯＵＴ信号と接続される。
同時に、画素データコピー処理部３３２は、画素コピー処理制御部３３０に、ＨｉｇｈレベルのＣＯＰＹ＿ＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３５０）を出力する。これにより、画素コピー処理制御部３３０は、ＨｉｇｈレベルのＶＡＬＩＤ＿ＯＵＴ信号（Ｓｉｇ＿３０５）を出力する。ＨｉｇｈレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）の出力完了後に、ＬｏｗレベルのＣＯＰＹ＿ＤＡＴＡ＿ＯＵＴ信号（Ｓｉｇ＿３５０）が出力される。
【００９３】
以上の処理で、参照画素データが両端に付加された１ライン目及び２ライン目の画素データの出力が完了する。
【００９４】
次に、期間Ｈにおいて、３ライン目の左端３画素分の参照画素データ（図５の画素ブロック５３１のＧ色、５３２のＢ色、５３３のＧ色）の画素コピー処理が行われる。
期間Ｈでは、期間Ｂの処理と同様の画素コピー処理を実施する。ただし、画素コピー処理される参照画素データは、参照画素データの画素ブロック５０１から画素ブロック５３１に移行する。したがって、画素コピー処理される画素ブロック５３１のカラーＩＤの組み合わせは、図４（ｂ）の画素ブロック４１１ではなく、画素ブロック４３１の組み合せ（１，１）に対応する。
同様に、画素コピー処理のコピー元となる有効画素データの画素ブロックは、画素ブロック５０４から画素ブロック５３４に移行する。したがって、画素コピー処理のコピー元となる有効画素データの画素ブロック５３４のカラーＩＤの組み合わせは、図４（ｂ）の画素ブロック４１４ではなく、画素ブロック４３４の組み合わせ（１，１）に対応する。
【００９５】
また、画素ブロック４３４のＣＩＤアドレスは「ＣＩＤＸ＝３」であり、このＣＩＤアドレス値は、図７（ｃ）のバッファメモリのアドレス値「ＭＬ＿ＣＩＤＸ＝０」の位置が対応する。従って、画素ブロック４３４に対応する有効画素データは、バッファメモリＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素ブロック７０５の有効画素データとなる。
以上のようにして期間Ｈにおいて、３ライン目の左端３画素分の参照画素データの画素コピー処理が完了すると、期間Ｉへ移行する。
【００９６】
期間Ｉでは、期間Ｃの処理における画素データ１Ｌ、１Ｍ、１Ｒを画素データ３Ｌ、３Ｍ、３Ｒに、画素データ２Ｍ、２Ｒ、２Ｌを画素データ４Ｍ、４Ｒ、５Ｌにそれぞれ置き換えた処理が実行される。
次に、期間Ｊでは、期間Ｄの処理と同様の画素コピー処理を実施する。ただし、画素コピー処理される参照画素データは、参照画素データの画素ブロック５０８から画素ブロック５３８に移行する。したがって、画素コピー処理される画素ブロック５３８のカラーＩＤの組み合わせは、図４（ｃ）の画素ブロック４１８から画素ブロック４３８の組み合わせ（１，１）に対応する。
【００９７】
同様に、画素コピー処理のコピー元となる有効画素データの画素ブロックは、画素ブロック５０７から画素ブロック５３７に移行する。したがって、画素コピー処理のコピー元となる有効画素データの画素ブロック５３７のカラーＩＤの組み合わせは、図４（ｃ）の画素ブロック４１７ではなく、画素ブロック４３７の組み合わせ（１，１）に対応する。
また、画素ブロック４３７のＣＩＤアドレス値は「ＣＩＤＸ＝２」であり、図７（ｄ）のバッファメモリのアドレス値「ＭＲ＿ＣＩＤＸ＝５」の位置が対応する。従って、画素ブロック４３７に対応する有効画素データは、バッファメモリＭ＿１Ｌ及びＭ＿２Ｌに格納されている画素ブロック７０６の有効画素データとなる。
以上のようにして期間Ｊにおいて、３ライン目の右端３画素分の参照画素データの画素コピー処理が完了すると、期間Ｋへ移行する。
【００９８】
期間Ｋでは、バッファメモリＭ＿ＲＥＦ＿Ｌ（３５５）内の参照画素データ４Ｌ'が出力される。
次の期間Ｌでは、期間Ｆの処理における画素データ２Ｌ、２Ｍ、２Ｒを画素データ４Ｌ、４Ｍ、４Ｒに、画素データ３Ｍ、３Ｒ、４Ｌを画素データ５Ｍ、５Ｒ、６Ｌにそれぞれ置き換えた処理が実行される。
最後の期間Ｍでは、バッファメモリＭ＿ＲＥＦ＿Ｒ（３５６）内の参照画素データ４Ｒ'が出力される。
以降、画像データの最終ラインまで画素コピー処理が実行され、画素データコピー処理部３３２の処理が完了する。
【００９９】
図８は、画像の左端部が、図１０に示すカラーフィルタ配列のフィルタ色に対して異なる位置になった際の画素コピー処理の結果の一例を示す図である。図８中の白色の画素データは、画素コピー処理により、画像の左端部に外挿される参照画素データである。一方、網点の画素データは、有効画素データを示す。
図８（ａ）は、画像の左端部（画素ブロック８０７の左端位置）が、上部からＧ色、Ｂ色、Ｇ色、Ｇ色、Ｒ色、Ｇ色のカラーフィルタ配列となる場合を示す図である。
第１ライン目及び第２ライン目の参照画素データとなる画素ブロック８０１、８０３には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データの画素ブロック８０７のＧ色の画素データとＢ色の画素データがコピーされる。
【０１００】
参照画素データとなる画素ブロック８０２には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データの画素ブロック８０８のＲ色の画素データとＧ色の画素データがコピーされる。
参照画素データとなる画素ブロック８０４、８０６には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データの画素ブロック８０８のＲ色の画素データとＧ色の画素データが上下反転されてコピーされる。
【０１０１】
参照画素データとなる画素ブロック８０５には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データの画素ブロック８０７のＧ色の画素データとＢ色の画素データがコピー処理される。
同様に、第３ライン目及び第４ライン目と第５ライン目及び第６ライン目でも画素コピー処理が実施される。
【０１０２】
参照画素データとなる実線で囲まれる画素ブロックには、有効画素データの左端部の画素ブロックの画素データであって、同一のカラーフィルタ色の組み合わせを有する実線で囲まれる画素ブロックの画素データがコピーされる。参照画素データの画素ブロックとコピー元の有効画素データの画素ブロックとで、カラーフィルタ色が上下反転している場合には、有効画素データの画素データが上下反転されて、参照画素データの画素ブロックにコピーされる。
【０１０３】
同様に、参照画素データとなる破線で囲まれる画素ブロックには、有効画素データの左端部の画素ブロックの画素データであって、同一のカラーフィルタ色の組み合わせを有する破線で囲まれる画素ブロックの画素データがコピーされる。同様に、参照画素データの画素ブロックとコピー元の有効画素データの画素ブロックとで、カラーフィルタ色が上下反転している場合には、有効画素データの画素データが上下反転されて参照画素データの画素ブロックにコピーされる。
【０１０４】
尚、前述した画素コピー処理のように、第１ライン目で、同一ライン内でＢ色の有効画素データを画素コピー処理する場合は、Ｂ色の画素データ８１０から参照画素データとしてコピーされる。従って、Ｂ色の画素データ間の間隔が、本実施形態で説明した画素コピー処理を行った場合よりも長くなる。したがって、参照画素データとなるコピーされる参照画素データとコピー元の有効画素データの画素値の差が大きくなる可能性が高くなる。
同様に、前述した画素コピー処理のように、第２ライン目で、同一ライン内でＲ色の有効画素データを画素コピー処理する場合は、Ｒ色の画素データ８０９から参照画素データとしてコピーされる。従って、Ｒ色の画素データ間の間隔が、本実施形態で説明した画素コピー処理を行った場合よりも長くなる。したがって、参照画素データとなるコピーされる参照画素データとコピー元の有効画素データの画素値の差が大きくなる可能性が高くなる。
同様に第２〜第６ライン目の画素データの場合においても、本実施形態で説明した画素コピー処理を行った場合の方がコピーされる参照画素データとコピー元の有効画素データとの距離を短くすることが可能である（図８（ａ）の二重線の四角の画素を参照）。
【０１０５】
図８（ｂ）は、画像の左端部が、上部からＲ色、Ｇ色、Ｒ色、Ｂ色、Ｇ色、Ｂ色のカラーフィルタ配列となる場合を示す図である。
図８（ｃ）は、画像の左端部が、上部からＧ色、Ｂ色、Ｇ色、Ｇ色、Ｒ色、Ｇ色のカラーフィルタ配列となる場合を示す図である。
何れの場合も、図８（ａ）と同様の図示の仕方をしている。本実施形態で説明した画素コピー処理を行った場合の方が、同一のライン内で同色の画素データを画素コピー処理する方式よりもコピーされる参照画素データとコピー元の有効画素データとの間隔を短くすることが可能であることを示す。
【０１０６】
以上のように本実施形態では、有効画素データの領域である有効画素領域の端（左端・右端）の外側の領域であって、当該端からローパスフィルタ処理等の画素補間処理で必要なサイズ分の領域である参照画素領域を設定する。参照画素領域の各画素に、カラーフィルタの配列の繰り返しパターンが保持されるように（くずれないように）色を設定する。参照画素領域を、複数の画素からなる画素ブロックに分け、有効画素領域における画素ブロックであって、参照画素領域における画素ブロックと同じサイズの画素ブロックのうち、参照画素領域における画素ブロックに最も近い画素ブロックを選択する。そして、それらの画素ブロックの色の組み合わせが同じであるか否かを判定する。有効画素領域における画素ブロックと、参照画素領域における画素ブロックの色の組み合わせが同じでない場合には、同じになるまで、有効画素データにおける画素ブロックを水平方向に１つずつずらして前記の判定を行う。
【０１０７】
具体的に、Ｍ×Ｎ（Ｍ、Ｎは正の整数）の色の配列を有するカラーフィルタを備えた撮像素子１０２から出力された画素データに対して画素コピー処理を行う際に、以下のようにする。すなわち、Ｐ×Ｑの画素ブロックの単位で、参照画素領域における画素ブロックと色の組み合わせが同じになる画素ブロックを有効画素領域から探索する。ここで、ＰはＭ以下の整数であり、ＱはＮ以下の整数であり、ＰとＱの少なくとも何れかが２以上の整数であり、Ｐ×ＱはＭ×Ｎよりも小さい。また、Ｐ×Ｑの画素ブロックは、参照画素領域から有効画素領域への探索方向において、参照画素領域における画素ブロックの色の組み合わせが有効画素領域に存在する範囲で最小の大きさを有するようにするのが好ましい。
【０１０８】
以上のようにすることで、コピー処理された参照画素とコピー元となる有効画素との間の間隔を短縮できる。これにより、コピー処理された参照画素とコピー元となる有効画素との間の画素値の差異も従来の処理と比較して小さくできる。また、画素コピー処理部２０３から出力された画素データを処理する後段の画像処理部（フィルタ処理部２０４）においても、参照画素となる画素データの画素値の差異の影響を受けることを低減できる。
【０１０９】
本実施形態では、画像の左端部及び右端部の画素コピー処理の手順を例に挙げて記載した。しかしながら、画像の上端部及び下端部の画素コピー処理にも、本実施形態で説明した画素コピー処理を適用することが可能である。
【０１１０】
図９は、画像の上端部（４画素分）の画素コピー処理の結果の一例を示す図である。図９中の白色の画素データは、画素コピー処理により、画像上端部に外挿される参照画素データである。一方、網点の画素データは、有効画素データを示す。
画像の上端部の画素コピー処理では、画像の左端部及び右端部の画素コピー処理時と同様に、図１０に示すカラーフィルタ配列の規則性から、垂直方向にカラーフィルタの２列分に跨り、探索を行う。従って、探索用となる画素ブロックの画素サイズとして、水平方向の画素数を「２」、垂直方向の画素数を「１」にそれぞれ設定する。
【０１１１】
参照画素データとなる第１列目及び第２列目の画素ブロック９０１には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データである画素ブロック９０５のＧ色の画素データとＲ色の画素データがコピーされる。
参照画素データとなる画素ブロック９０２、９０４には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データである画素ブロック９０６が左右反転してコピーされる。
参照画素データとなる画素ブロック９０３には、画素コピー処理により、同一のカラーフィルタ色の組み合わせを有する有効画素データである画素ブロック９０５が左右反転してコピーされる。
【０１１２】
第３列目及び第４列目と第５列目及び第６列目では、参照画素データとなる実線で囲まれる画素ブロックには、有効画素データの上端部の画素ブロックのデータであって、同一のカラーフィルタ色の組み合わせを有する実線で囲まれる画素データがコピーされる。参照画素データの画素ブロックとコピー元の有効画素データの画素ブロックとで、カラーフィルタ色が左右反転している場合には、有効画素データの画素データが左右反転されて参照画素データの画素ブロックにコピーされる。
【０１１３】
同様に、参照画素データとなる破線で囲まれる画素ブロックには、有効画素データの上端部の画素ブロックのデータであって、同一の色の組み合わせを有する破線で囲まれる画素データがコピーされる。同様に、参照画素データの画素ブロックとコピー元の有効画素データの画素ブロックとで、カラーフィルタ色が左右反転している場合には、有効画素データの画素データが左右反転されて参照画素データの画素ブロックにコピーされる。
【０１１４】
尚、図１０に示すカラーフィルタ配列で画像の上端部の画素コピー処理と、画像の左端部及び右端部の画素コピー処理を同時に実行する際には、探索用となる画素ブロックの画素サイズを個別に設定する。具体的に説明すると、画像の左端部及び右端部の画素コピー処理では、探索用となる画素ブロックの画素サイズとして、水平方向の画素数を「１」、垂直方向の画素数を「２」に設定する。一方、画像の上端部の画素コピー処理では、探索用となる画素ブロックの画素サイズとして、水平方向の画素数を「２」、垂直方向の画素数を「１」に設定する。
【０１１５】
さらに、撮像素子の有するカラーフィルタ配列におけるカラーフィルタ色の組み合わせの並び方によって、探索用の画素ブロックの画素サイズを、水平方向及び垂直方向の少なくとも何れか一方において変更することが可能である。すなわち、探索用の画素ブロックの（同一の方向における）画素ブロックのサイズは、本実施形態のように全て同一でなくてもよく、場所によって異ならせてもよい。
【０１１６】
また、本実施形態では、探索用に、参照画素データのカラーＩＤの組み合せを用いて、画素コピー処理のコピー元となる画素ブロックを、画像の端から探索する場合を例に挙げて説明した。しかしながら、例えば、以下のような処理方式を採用しても構わない。
参照画素データの画素ブロックのカラーフィルタ配列上の位置から、画像の端部におけるコピー元の有効画素データの画素ブロックの位置が分かっている場合には、探索処理を省略して画素コピー処理を行う構成にしてもよい。
【０１１７】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【０１１８】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１９】
１００：画像処理装置、１０４：画像処理回路、２０３：画素コピー処理部
【図１】
2015170897.tif 000003
【図２】
2015170897.tif 000004
【図３】
2015170897.tif 000005
【図４】
2015170897.tif 000006
【図５】
2015170897.tif 000007
【図６】
2015170897.tif 000008
【図７】
2015170897.tif 000009
【図８】
2015170897.tif 000010
【図９】
2015170897.tif 000011
【図１０】
2015170897.tif 000012
【図１１】
2015170897.tif 000013
【図１２】
2015170897.tif 000014
【図１３】
2015170897.tif 000015