(57)【要約】【課題】複雑な画素配列を有する固体撮像素子に関しても、各画素の相関方向を容易に検出する。【解決手段】固体撮像素子はｍ×ｎの光電変換素子それぞれに、Ａ、Ｂ、Ｃ及びＤの色のフィルタが重ねられたｍ×ｎの画素を有する。固体撮像素子は、各画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素を、第１または第２配列パターンのいずれかのパターンに従って配置する。固体撮像素子は、各画素の画素データから成る画像生データを方向検出ブロック１６０に送る。方向検出ブロック１６０は、ｋ×ｋ画素領域内において、中心画素とその中心画素と同一色のフィルタが重ねられた同色周辺画素の色信号が、相対的に近似する方向を相関方向として検出する。各中心画素それぞれの同色周辺画素の位置は、ｋ×ｋ画素領域における配列パターンによって特定される。【選択図】図１０
2007184905.tif 000002
【特許請求の範囲】
【請求項１】
各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して構成される固体撮像素子であって、前記画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理可能な画像信号処理装置において、
前記複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、前記各ｋ×ｋ画素領域内における互いに同一色のフィルタが重ねられた画素をそれぞれ仮定し、これら同一色のフィルタが重ねられたと仮定された画素の色信号同士を画素補間し、各中心画素について１以上の補間信号を生成する画素補間手段と、
前記ｋ×ｋ画素領域内における前記画素配列パターンを、前記複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別手段とを備え、
前記１以上の補間信号の中から、前記特定配列パターンに従って生成された１つの補間信号を、前記中心画素の採用補間信号として定めることを特徴とする画像信号処理装置。
【請求項２】
前記画素補間手段は、前記ｋ×ｋ画素領域内における、前記同一色のフィルタが重ねられた画素同士の色信号を加重平均または相加平均することにより、画素補間し、前記中心画素に関する各色の補間信号を生成することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記第１及び第２配列パターンは、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成され、
前記画素判別手段は、前記中心画素が前記基本マトリクスにおいていずれの位置に配置されるかによって、前記画素配列パターンを特定することを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
前記ｋ×ｋ画素領域内において、前記中心画素とその中心画素の周辺画素の色信号が相対的に近似する方向を前記各中心画素の相関方向として検出する方向検出手段を備え、
前記画素補間手段は前記方向検出部によって検出された相関方向に沿って位置する画素の色信号を用いて画素補間を行うことを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
前記方向検出手段は、前記ｋ×ｋ画素領域内において、前記各中心画素とその中心画素と同一色のフィルタが重ねられた同色周辺画素の色信号が、相対的に近似する方向を前記各中心画素の相関方向として検出することを特徴とする請求項４に記載の画像信号処理装置。
【請求項６】
前記画素補間手段が、少なくとも第１及び第２画素補間部を備え、
前記第１画素補間部は、前記ｋ×ｋ画素領域内において、前記第１の配列に従って、同一色のフィルタが重ねられている画素を仮定し、同一色のフィルタが重ねられたと仮定された画素の色信号同士それぞれを画素補間し、仮に同一色に定められた各色に関する第１補間信号を生成し、
前記第２画素補間部は、前記ｋ×ｋ画素領域内において、前記第２の配列に従って、同一色のフィルタが重ねられている画素を仮定し、同一色のフィルタが重ねられたと仮定された画素の色信号同士それぞれを画素補間し、仮に同一色に定められた各色に関する第２補間信号を生成し、
前記画素判別手段は、前記中心画素を中心とするｋ×ｋ画素領域における画素配列パターンが、前記第１配列パターンであると特定した場合には、前記第１画素補間部で生成された前記第１補間信号をその中心画素の前記採用補間信号に特定するとともに、前記第２配列パターンであると特定した場合には、前記第２画素補間部で生成された前記第２補間信号を前記中心画素の前記採用補間信号に特定することを特徴とする請求項１に記載の画像信号処理装置。
【請求項７】
少なくとも第１及び第２方向検出部を有する前記方向検出手段を備え、
前記第１方向検出部は、前記第１配列パターンに従って、前記中心画素と同一色のフィルタを重ねられていると仮定した画素を第１特定周辺画素として定め、前記中心画素に対して前記第１特定周辺画素の色信号が相対的に近似する方向を第１仮相関方向として検出し、
前記第２方向検出部は、前記第２配列パターンに従って、前記中心画素と同一色のフィルタを重ねられていると仮定した画素を第２特定周辺画素として定め、前記中心画素に対して前記第２特定周辺画素の色信号が相対的に近似する方向を第２仮相関方向として検出し、
前記第１画素補間部は前記第１方向検出部によって検出された第１仮相関方向に沿って位置する画素の色信号を用いて画素補間を行い、
前記第２画素補間部は前記第２方向検出部によって検出された第２仮相関方向に沿って位置する画素の色信号を用いて画素補間を行うことを特徴とする請求項６に記載の画像信号処理装置。
【請求項８】
前記第１及び第２配列パターンは、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成され、
前記画素判別手段は、前記中心画素が前記基本マトリクスにおいていずれの位置に配置されるかによって、前期第１及び第２補間信号のうちいずれかを前記中心画素の前記採用補間信号に特定するとともに、その各採用補間信号の色を特定することを特徴とする請求項６に記載の画像信号処理装置。
【請求項９】
前記画素判別手段は、前記第１補間信号が入力される第１画素判別部と、前記第２補間信号が入力される第２画素判別部とを備え、
同一の中心画素に関する第１及び第２補間信号は、前記第１及び第２画素判別部にそれぞれ同期して入力され、
前記同期して入力される第１及び第２補間信号にさらに同期するパルス信号が、第１及び第２画素判別部のいずれか一方に入力され、前記パルス信号が入力された一方の画素判別部は、その一方の画素判別部に前記パルス信号に同期して入力される一方の補間信号を、前記中心画素の採用補間信号として採用することを特徴とする請求項８に記載の画像信号処理装置。
【請求項１０】
前記パルス信号は、その信号に同期する前記第１及び第２補間信号に関する前記中心画素を中心とするｋ×ｋ画素領域における画素配列パターンが、前記第１配列パターンである場合、前記第１画素判別部に入力される一方、第２配列パターンである場合、前記第２画素判別に入力されることを特徴とする請求項９に記載の画像信号処理装置。
【請求項１１】
前記第１及び第２配列パターンは、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成され、
前記パルス信号は、その信号と同期する前記第１及び第２補間信号に関する前記中心画素が、前記基本マトリクスにおいて、いずれの位置に配置されるかによってそれぞれ異なり、前記採用補間信号の各色は、前記パルス信号に応じて特定されることを特徴とする請求項９に記載の画像信号処理装置。
【請求項１２】
前記固体撮像素子において、奇数行に位置する前記中心画素を中心とするｋ×ｋ画素領域は、第１配列パターンに配列され、偶数行に位置する前記中心画素を中心とするｋ×ｋ画素領域は、第２配列パターンに配列され、
前記画素判別手段は、前記中心画素が、奇数行に位置する場合、第１補間信号を中心画素の前記採用補間信号として設定し、偶数行に位置する場合、第２補間信号をその中心画素の前記採用補間信号として設定することを特徴とする請求項６に記載の画像信号処理装置。
【請求項１３】
前記第１及び第２配列パターンは、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成され、
前記第１及び第２画素判別部は、前記基本マトリクス配列において、前記中心画素がいずれの位置に配置されるかによって、前記各採用補間信号の各色を特定することを特徴とする請求項６に記載の画像信号処理装置。
【請求項１４】
前記画素補間手段は、前記特定配列パターンに従って、前記ｋ×ｋ画素領域内における互いに同一色のフィルタが重ねられた画素をそれぞれ仮定し、これら同一色のフィルタが重ねられたと仮定された画素の色信号同士を画素補間し、各中心画素について１つの補間信号を生成し、その生成された補間信号は、前記中心画素の採用補間信号として定められることを特徴とする請求項１に記載の画像信号処理装置。
【請求項１５】
各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して構成される固体撮像素子であって、前記画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理可能な画像信号処理装置において、
前記複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、前記各ｋ×ｋ画素領域内における、前記各中心画素と同一色のフィルタが重ねられたと仮定された同色周辺画素の色信号を用いて、仮相関方向を少なくとも１以上検出する相関方向検出手段と、
前記ｋ×ｋ画素領域内における前記画素配列パターンを、前記複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別手段とを備え、
前記１以上の仮相関方向の中から、前記特定配列パターンに従って生成された１つの仮相関方向を、前記中心画素の相関方向として定めることを特徴とする画像信号処理装置。
【請求項１６】
各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して、ｍ行ｎ列マトリクスに構成される固体撮像素子であって、前記画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理可能な画像信号処理装置であって、
前記ｍ行ｎ列マトリクスは、画素配列が同一である複数の基本マトリクスが列方向、及び行方向に複数並べられて構成され、
前記ｋ×ｋ画素領域における前記画素配列パターンは、そのｋ×ｋ画素領域の中心画素が前記基本マトリクスにおいていずれの位置に配置されるかによって、前記複数の画素配列パターンから選択された１つの特定配列パターンに特定されることを特徴とする画像信号処理装置。
【請求項１７】
各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して構成される固体撮像素子であって、前記画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理する画像信号処理方法において、
前記複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、前記各ｋ×ｋ画素領域内における互いに同一色のフィルタが重ねられた画素をそれぞれ仮定し、これら同一色のフィルタが重ねられたと仮定された画素の色信号同士を画素補間し、各中心画素について１以上の補間信号を生成する画素補間ステップと、
前記ｋ×ｋ画素領域内における前記画素配列パターンを、前記複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別ステップとを備え、
前記１以上の補間信号の中から、前記特定配列パターンに従って生成された１つの補間信号を、前記中心画素の採用補間信号として定めることを特徴とする画像信号処理方法。
【請求項１８】
各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して構成される固体撮像素子であって、前記画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理する画像信号処理方法において、
前記複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、前記各ｋ×ｋ画素領域内における、前記各中心画素と同一色のフィルタが重ねられたと仮定された同色周辺画素の色信号を用いて、仮相関方向を少なくとも１以上検出する相関方向検出ステップと、
前記ｋ×ｋ画素領域内における前記画素配列パターンを、前記複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別ステップとを備え、
前記１以上の仮相関方向の中から、前記特定配列パターンに従って生成された１つの仮相関方向を、前記中心画素の相関方向として定めることを特徴とする画像信号処理方法。
【請求項１９】
各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して、ｍ行ｎ列マトリクスに構成される固体撮像素子であって、前記画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理する画像信号処理方法において、
前記ｍ行ｎ列マトリクスは、画素配列が同一である複数の基本マトリクスが列方向、及び行方向に複数並べられて構成され、
前記ｋ×ｋ画素領域における前記配列パターンを、そのｋ×ｋ画素領域の中心画素が前記基本マトリクスにおいていずれの位置に配置されるかによって、前記複数の配列パターンから選択された１つの特定配列パターンに特定することを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板式のカラー撮像方式によって得られた画像信号を処理するための画像信号処理装置に関する。
【背景技術】
【０００２】
従来、撮像装置において、種々のカラー撮像方式が知られており、例えば３板式、面順次式、単板式等が知られており、特に、単板式のカラー撮像方式は、単純な構成で、３原色信号を取り出すことができるので、近年、家庭用のビデオカメラや電子内視鏡等に広く採用されつつある。
【０００３】
単板式のカラー撮像方式においては、ＣＣＤの受光面に色フィルタアレイが設けられており、色フィルタアレイは、マゼンタ（Ｍｇ）、緑（Ｇ）、シアン（Ｃｙ）、及び黄色（Ｙｅ）の色フィルタがモザイク状に配列されて構成される。そして、ＣＣＤでは、これらフィルタに対応して、それぞれの色（マゼンタ、緑、シアン、及び黄色）の色信号が画素毎に生成される。
【０００４】
これら生成された各色信号は、種々の読み出し方式によって読み出されることが知られており、例えば全画素が独立的に読み出される独立読み出し方式が知られている。この読み出し方式においては、全画素の色信号について、それぞれ独立に読み出された後、その色信号を用いて画素補間が行われ色データが算出される。
【０００５】
特許文献１には、色信号の画素補間処理方法が記載されており、この方法によれば、４行４列の画素マトリクスにおいて、それぞれの色（マゼンタ、緑、シアン、及び黄色）について、マトリクスの中心位置に対して所定の位置にある同一の色の画素が選択され、その選択された画素の出力値が加重平均され、中心位置の色データが生成される。
【０００６】
ここで、特許文献１におけるＣＣＤの画素配列は、各色（マゼンタ（Ｍｇ）、緑（Ｇ）、シアン（Ｃｙ）、及び黄色（Ｙｅ））の画素が、それぞれ同一行方向及び同一列方向いずれにおいても、交互に並べられており、すなわち、各色の画素は同じパターンで並べられて構成される。したがって、画素補間処理時に同一の色の画素を選択することは比較的容易であり、特許文献１においては中心位置を中心として、９０°毎に回転した位置にある画素が選択されている。
【０００７】
ところで、ＣＣＤの画素配列は、特許文献１に記載されるように全ての色の画素が同じパターンで並べられているとは限らず、例えば、特許文献２に記載されるようにいわゆる色差順次配列で並べられる場合がある。また、特許文献３に記載されるように、ＣＣＤの画素配列はいわゆるベイヤー配列で並べられている場合がある。
【特許文献１】特開平１０−２３４０４７号公報
【特許文献２】特公平６−２８４５０号公報
【特許文献３】特開昭５１−１１２２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献２に記載の色差順次配列においては、特許文献２の図７に示すように例えばＹｅとＣｙの画素が列方向において、同一列に交互に並べられておらず、同一色の画素を画一的に選択することは困難である。また、特許文献３に記載のベイヤー配列においても、図１に示すようにＹとＣ１（またはＣ２）の配列パターンが異なるので、色差順次配列と同様に、同一色の画素を画一的に選択することは困難である。すなわち、これら画素配列を有するＣＣＤについて、全画素が独立的に読み出される場合、特許文献１に記載の方法により、画素補間処理を行うことは困難である。
【０００９】
そこで、本願発明は、このような問題点に鑑みて成されたものであり、撮像方式が単板式であって、ＣＣＤの全画素の色信号が独立的に読み出される場合において、種々の画素配列に対応して画素補間できる画像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明において、第１及び第２の画像信号処理装置は、各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して構成される固体撮像素子であって、画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理可能な画像信号処理装置に関する。第１の画像信号処理装置は、複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、各ｋ×ｋ画素領域内における互いに同一色のフィルタが重ねられた画素をそれぞれ仮定し、これら同一色のフィルタが重ねられたと仮定された画素の色信号同士を画素補間し、各中心画素について１以上の補間信号を生成する画素補間手段と、ｋ×ｋ画素領域内における画素配列パターンを、複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別手段とを備え、１以上の補間信号の中から、特定配列パターンに従って生成された１つの補間信号を、中心画素の採用補間信号として定めることを特徴とする。
【００１１】
画素補間手段は、ｋ×ｋ画素領域内における、同一色のフィルタが重ねられた画素同士の色信号を加重平均または相加平均することにより、画素補間し、中心画素に関する各色の補間信号を生成することが好ましい。第１及び第２配列パターンは、例えば、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成される。この場合、画素判別手段は、中心画素が基本マトリクスにおいていずれの位置に配置されるかによって、配列パターンを特定することが好ましい。
【００１２】
本発明に係る画像信号処理装置は、ｋ×ｋ画素領域内において、中心画素とその中心画素の周辺画素の色信号が相対的に近似する方向を各中心画素の相関方向として検出する方向検出手段をさらに備えても良い。この場合、画素補間手段では、方向検出部によって検出された相関方向に沿って位置する画素の色信号を用いて画素補間が行われる。
【００１３】
方向検出手段は、ｋ×ｋ画素領域内において、各中心画素とその中心画素と同一色のフィルタが重ねられた同色周辺画素の色信号が、相対的に近似する方向を各中心画素の相関方向として検出することが好ましい。
【００１４】
画素補間手段は、少なくとも第１及び第２画素補間部を備えたほうが良い。この場合、第１画素補間部は、ｋ×ｋ画素領域内において、第１の配列に従って、同一色のフィルタが重ねられている画素を仮定し、同一色のフィルタが重ねられたと仮定された画素の色信号同士それぞれを画素補間し、仮に同一色に定められた各色に関する第１補間信号を生成する。一方、第２画素補間部は、ｋ×ｋ画素領域内において、第２の配列に従って、同一色のフィルタが重ねられている画素を仮定し、同一色のフィルタが重ねられたと仮定された画素の色信号同士それぞれを画素補間し、仮に同一色に定められた各色に関する第２補間信号を生成する。そして、画素判別手段は、中心画素を中心とするｋ×ｋ画素領域における配列パターンが、第１配列パターンであると特定した場合には、第１画素補間部で生成された第１補間信号をその中心画素の採用補間信号に特定するとともに、第２配列パターンであると特定した場合には、第２画素補間部で生成された第２補間信号を中心画素の採用補間信号に特定する。
【００１５】
画素補間手段が、少なくとも第１及び第２画素補間部を備える場合、本発明に係る画像信号処理装置は、少なくとも第１及び第２方向検出部を有する方向検出手段を備えたほうが良い。この場合、第１方向検出部は、第１配列パターンに従って、中心画素と同一色のフィルタを重ねられていると仮定した画素を第１特定周辺画素として定め、中心画素に対して第１特定周辺画素の色信号が相対的に近似する方向を第１仮相関方向として検出する。第２方向検出部は、第２配列パターンに従って、中心画素と同一色のフィルタを重ねられていると仮定した画素を第２特定周辺画素として定め、中心画素に対して第２特定周辺画素の色信号が相対的に近似する方向を第２仮相関方向として検出する。そして、第１画素補間部は第１方向検出部によって検出された第１仮相関方向に沿って位置する画素の色信号を用いて画素補間を行う。さらに、第２画素補間部は第２方向検出部によって検出された第２仮相関方向に沿って位置する画素の色信号を用いて画素補間を行う。
【００１６】
第１及び第２配列パターンは、例えば、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成される。この場合、画素判別手段は、中心画素が基本マトリクスにおいていずれの位置に配置されるかによって、前期第１及び第２補間信号のうちいずれかを中心画素の採用補間信号に特定するとともに、その各採用補間信号の色を特定することを特徴とする。
【００１７】
前記画素補間手段が、少なくとも第１及び第２画素補間部を備える場合、画素判別手段も、第１補間信号が入力される第１画素判別部と、第２補間信号が入力される第２画素判別部とを備えていたほうが良い。この場合、同一の中心画素に関する第１及び第２補間信号は、第１及び第２画素判別部にそれぞれ同期して入力される。そして、上述した同期して入力される各第１及び第２補間信号にさらに同期するパルス信号が、第１及び第２画素判別部のいずれか一方に入力され、パルス信号が入力された一方の画素判別部は、その一方の画素判別部にパルス信号に同期して入力される一方の補間信号を、中心画素の採用補間信号として採用する。
【００１８】
パルス信号は、その信号に同期する第１及び第２補間信号に関する中心画素を中心とするｋ×ｋ画素領域における配列パターンが、第１配列パターンである場合、第１画素判別部に入力される一方、第２配列パターンである場合、第２画素判別に入力されることが好ましい。パルス信号は、その信号と同期する第１及び第２補間信号に関する中心画素が、基本マトリクスにおいて、いずれの位置に配置されるかによってそれぞれ異なり、採用補間信号の各色は、パルス信号に応じて特定されることが好ましい。
【００１９】
固体撮像素子は、奇数行に位置する中心画素を中心とするｋ×ｋ画素領域は、第１配列パターンに配列され、偶数行に位置する中心画素を中心とするｋ×ｋ画素領域は、第２配列パターンに配列される場合、画素判別手段は、中心画素が、奇数行に位置する場合、第１補間信号を中心画素の採用補間信号として設定し、偶数行に位置する場合、第２補間信号をその中心画素の採用補間信号として設定することが好ましい。
【００２０】
第１及び第２配列パターンは、画素配列が同一である基本マトリクス配列が行方向及び列方向に複数並べられて形成され、第１及び第２画素判別部は、基本マトリクス配列において、中心画素がいずれの位置に配置されるかによって、各採用補間信号の各色を特定することが好ましい。画素補間手段は、特定配列パターンに従って、ｋ×ｋ画素領域内における互いに同一色のフィルタが重ねられた画素をそれぞれ仮定し、これら同一色のフィルタが重ねられたと仮定された画素の色信号同士を画素補間し、各中心画素について１つの補間信号を生成し、その生成された補間信号は、中心画素の採用補間信号として定められることが好ましい。
【００２１】
本発明に係る第２の画像信号処理装置は、複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、各ｋ×ｋ画素領域内における、各中心画素と同一色のフィルタが重ねられたと仮定された同色周辺画素の色信号を用いて、仮相関方向を少なくとも１以上検出する相関方向検出手段と、ｋ×ｋ画素領域内における画素配列パターンを、複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別手段とを備え、１以上の仮相関方向の中から、特定配列パターンに従って生成された１つの仮相関方向を、中心画素の相関方向として定めることを特徴とする。
【００２２】
本発明に係る第３の画像信号処理装置は、各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して、ｍ行ｎ列マトリクスに構成される固体撮像素子であって、画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理可能な画像信号処理装置において、ｍ行ｎ列マトリクスは、画素配列が同一である複数の基本マトリクスが列方向、及び行方向に複数並べられて構成され、ｋ×ｋ画素領域における画素配列パターンは、そのｋ×ｋ画素領域の中心画素が基本マトリクスにおいていずれの位置に配置されるかによって、複数の画素配列パターンから選択された１つの特定配列パターンに特定されることを特徴とする。
【００２３】
本発明に係る第１及び第２の画像信号処理方法は、各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して構成される固体撮像素子であって、画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理する画像信号処理方法に関する。第１の画像信号処理方法は、複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、各ｋ×ｋ画素領域内における互いに同一色のフィルタが重ねられた画素をそれぞれ仮定し、これら同一色のフィルタが重ねられたと仮定された画素の色信号同士を画素補間し、各中心画素について１以上の補間信号を生成する画素補間ステップと、ｋ×ｋ画素領域内における画素配列パターンを、複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別ステップとを備え、１以上の補間信号の中から、特定配列パターンに従って生成された１つの補間信号を、中心画素の採用補間信号として定めることを特徴とする。
【００２４】
第２の画像信号処理方法は、複数の画素配列パターンのうち、１つ以上の画素配列パターンそれぞれに従って、各ｋ×ｋ画素領域内における、各中心画素と同一色のフィルタが重ねられたと仮定された同色周辺画素の色信号を用いて、仮相関方向を少なくとも１以上検出する相関方向検出ステップと、ｋ×ｋ画素領域内における画素配列パターンを、複数の画素配列パターンから選択された１つの特定配列パターンに特定する画素判別ステップとを備え、１以上の仮相関方向の中から、特定配列パターンに従って生成された１つの仮相関方向を、中心画素の相関方向として定めることを特徴とする。
【００２５】
本発明に係る第３の画像信号処理方法は、各光電変換素子それぞれに、互いに異なる色である少なくとも第１乃至第３の色のフィルタが重ねられて構成される画素が規則的に配列して、ｍ行ｎ列マトリクスに構成される固体撮像素子であって、画素それぞれを中心画素とし、各中心画素を中心とするｋ×ｋ画素領域における、同一色のフィルタが重ねられた画素が、少なくとも第１及び第２配列パターンを含む複数の画素配列パターンのいずれかに従って配置された固体撮像素子の各画素から出力される色信号を処理する画像信号処理方法において、ｍ行ｎ列マトリクスは、画素配列が同一である複数の基本マトリクスが列方向、及び行方向に複数並べられて構成され、ｋ×ｋ画素領域における配列パターンを、そのｋ×ｋ画素領域の中心画素が基本マトリクスにおいていずれの位置に配置されるかによって、複数の配列パターンから選択された１つの特定配列パターンに特定することを特徴とする。
【発明の効果】
【００２６】
本発明においては、補間信号を、同一色のフィルタが重ねられた同一色画素を配列パターンに従って、特定することができるので、各画素の補間信号を容易に算出することができる。また、各画素の相関方向の検出で使用される同色周辺画素が、各画素を中心とするｋ×ｋ画素領域における、配列パターンに応じて特定されるので、複雑な画素配列を有する固体撮像素子に関しても、各画素の相関方向を容易に検出することができる。さらには、本発明においては、画素配列パターンに応じて、適切に画素補間または相関方向の検出を行うので、偽色の発生を防止することができる。
【発明を実施するための最良の形態】
【００２７】
本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の説明においては、撮像装置が電子内視鏡装置である場合について説明するが、本発明はデジタルカメラ、ビデオカメラ等の他の撮像装置に適用されても良い。
【００２８】
図１は、本発明の一実施形態に係る電子内視鏡装置のブロック図である。電子内視鏡装置は、可撓性を有するスコープ（電子スコープ）１０と、スコープ１０に着脱自在な電子内視鏡のプロセッサ１００と、プロセッサ１００に接続されるモニタ装置（不図示）を備える。
【００２９】
スコープ１０には、光ファイバ束から成る光ガイド部材１２が可撓性先端部２０ａにまで挿通しており、光ガイド部材１２の基端側はスコープ１０のプロセッサ１００への装着時にプロセッサ１００に設けられた光源１０２に光学的に接続される。光源１０２は、白色光源ランプであり、光源１０２から発せられた白色光は、光ガイド部材１２によって可撓性先端部２０ａに導かれ、可撓性先端部２０ａからその前方に位置する被写体（例えば消化器官の内壁Ｘ）に照射される。
【００３０】
可撓性先端部２０ａには、いわゆる単板式の固体撮像素子（ＣＣＤ）から成る撮像センサ１４が設けられ、この撮像センサ１４は対物系レンズ１６と組み合わされる。被写体に照射された白色光は、被写体により反射され、対物系レンズ１６によって撮像センサ１４の受光面に結像される。撮像センサ１４では、光学的な被写体像が１フレーム分のアナログ画像信号に光電変換され、そのアナログ画像信号は、各画素が画素毎に独立に読み出されるようにして、撮像センサ１４から読み出される。
【００３１】
撮像センサ１４から読み出されたアナログ画像信号は、Ａ／Ｄ変換器１２２に送られ、そこで例えば８ビットのデジタル画像信号（色信号）に変換される。変換されたデジタル画像信号は、フレームメモリ１２４に書き込まれて、１フレーム分のデジタル画像信号として一時的に格納される。一時的に格納されたデジタル画像信号（色信号）は、信号処理ブロック１２５に入力され、信号処理ブロック１２５において信号処理される。信号処理ブロック１２５においては、１フレーム分の各画素それぞれについて、画素補間処理やカラーマトリクス処理、ホワイトバランス処理、輪郭強調処理等が行われる。
【００３２】
信号処理ブロック１２５で生成された画素補間信号は、輝度、色差信号に変換された後、モニタ装置（不図示）に送られ、モニタ装置において、動画像として表示される。プロセッサ１００には、制御回路１５０が設けられ、プロセッサ１００の全動作が制御回路１５０によって制御される。
【００３３】
スコープ１０内にあるスコープデータ記憶部２５には、スコープ１０に設けられた撮像センサの画素配列パターンに関する情報である画素配列情報が記憶されている。画素配列情報は、スコープデータ検知部１３０によって読み取られ、制御回路１５０に入力される。画素配列情報は、プロセッサ１００に接続されるスコープ１０の種類に応じて変更され、制御回路１５０に入力される画素配列情報も変更される。
【００３４】
図２は、撮像センサ１４の受光面の一例を示した図である。以下、画素配列が、図２に示す画素配列である場合について、説明する。撮像センサ１４の受光面は、ｍ行ｎ列のマトリクス状に配置された画素によって構成され、各画素はそれぞれ光電変換素子に、カラーフィルタが重ねられて構成される。撮像センサ１４は、単板式の撮像方式で使用される固体撮像素子であり、画素それぞれ４色（例えばＣｙ、Ｍｇ、Ｙｅ、Ｇ）中いずれかの色のカラーフィルタが重ねられている。なお、図２におけるＡ、Ｂ、Ｃ、及びＤは、それぞれＣｙ、Ｍｇ、Ｙｅ及びＧのいずれかであることを示す。
【００３５】
固体撮像素子によって得られるアナログ画像信号は、各画素について独立に読み出され、フレームメモリ１２４に格納されるデジタル画像信号は、図３に示すように撮像センサ１４の画素配列と同様のｍ行ｎ列マトリクスを形成する画素データから成る。したがって、フレームメモリ１２４には、１フレーム分のデジタル画像信号である画素データ（画像生データ）Ｐ１１〜Ｐｍｎが格納される。
【００３６】
図２に示すように、４色のカラーフィルタが重ねられた各画素は、規則的に配列されており、画素配列が同一である４行２列の基本マトリクス配列αが、行方向及び列方向に複数並べられてｍ行ｎ列のマトリクスに形成される。基本マトリクス配列αは、異なる４色のカラーフィルタ（Ａ、Ｂ、Ｃ、及びＤ）が重ねられた２行２列の４画素が行方向に２つ並べられて構成される。
【００３７】
ここで、基本マトリクス配列αにおいて、１及び３行目（奇数行）には、列方向にＡＢの画素（すなわち、Ａ、Ｂの色フィルタが重ねられた画素）が交互に並べられ、２及び４行目（偶数行）には、列方向にＣＤの画素が交互に並べられる。すなわち、ｍ行ｎ列のマトリクスにおいて、ＡＢの画素は奇数行に、ＣＤの画素は偶数行に並べられる。
【００３８】
偶数行において交互に並べられたＣＤの画素は、同一の位相で交互に並べられる。すなわち、Ｃの画素は、常に奇数列に配置される一方、Ｄの画素は常に偶数列に配置される。一方、奇数行においては、交互に並べられたＡＢの画素は、３行目の画素の位相が１行目の画素の位相に対して１画素分ずれて配置される。すなわち、Ａ及びＢは、それぞれ、列方向においても、交互に配置されている。
【００３９】
図２、４、及び５を参照して、画素の色に関する配列パターンについて説明する。Ａ〜Ｄの画素が上述したように並べられることにより、本実施形態においては、各画素を中心画素Ｐｍとし、その中心画素Ｐｍと同色の周辺画素を同色周辺画素Ｐｓとしたとき、その中心画素Ｐｍを中心とする５×５画素領域Ｆｍの画素配列パターンは、図４に示す第１配列パターンまたは図５に示す第２配列パターンのいずれかと成る。
【００４０】
すなわち、Ａ及びＢの画素は、行方向においては１画素おきに配置されるが、列方向においては、１画素左右にずれつつ、１画素おきに配置されるので、Ａ又はＢを中心画素Ｐｍとすると、その中心画素Ｐｍと、その中心画素Ｐｍと同色周辺画素Ｐｓの画素配置パターンは、第１配列パターン（図４参照）となる。そして、Ａ又はＢが中心画素である場合、同色周辺画素Ｐｓの画素配置パターンは常に第１配列パターンとなる。
【００４１】
また、Ｃ及びＤの画素は、行方向及び列方向いずれにおいても、１画素おきに配置されるので、Ｃ又はＤを中心画素Ｐｍとすると、その中心画素Ｐｍと同色周辺画素Ｐｓの配置パターンは、第２配列パターン（図５参照）となる。そして、Ｃ及びＤが中心画素である場合、同色周辺画素Ｐｓの配置パターンは常に第２配列パターンとなる。
【００４２】
したがって中心画素ＰｍがＡ又はＢである場合、図６に示すように中心画素Ｐｍの画素データをＰｉｊとすると、５×５画素領域Ｆｍにおける同色周辺画素Ｐｓの画素データは、Ｐ（ｉ−２）（ｊ−１）、Ｐ（ｉ−２）（ｊ＋１）、Ｐｉ（ｊ−２）、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−１）、Ｐ（ｉ＋２）（ｊ＋１）となる。また、中心画素ＰｍがＣ又はＤである場合、図７に示すように中心画素Ｐｍの画素データをＰｉｊとすると、５×５画素領域Ｆｍにおける同色周辺画素Ｐｓの画素データは、Ｐ（ｉ−２）（ｊ−２）、Ｐ（ｉ−２）ｊ、Ｐ（ｉ−２）（ｊ＋２）、Ｐｉ（ｊ−２）、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−２）、Ｐ（ｉ＋２）ｊ、Ｐ（ｉ＋２）（ｊ＋２）となる。
【００４３】
次に、図８、９を用いて、５×５画素領域Ｆｍ内における、中心画素Ｐｍと、同色周辺画素Ｐｓ以外の画素の色に関する配列パターンについて説明する。図８は、第１配列パターンにおける、色に関する５×５画素領域Ｆｍ内における配列パターンを示す。図９は、第２配列パターンにおける、色に関する５×５画素領域Ｆｍ内における配列パターンを示す。
【００４４】
画素配列パターンが第１配列パターンである場合、図８に示すように、中心画素以外の各色の画素の配列パターンも同一になる。すなわち、同色周辺画素Ｐｓの配列パターンが第１配列パターンである場合、中心画素Ｐｍと同色周辺画素Ｐｓの画素をＭとし、その他の色の画素をＮ、Ｑ、Ｒとすると、第１配列パターンにおける画素Ｎ、Ｑ、Ｒの配置は図８に示すようになる。なお、この場合、ＮはＡまたはＢの画素のいずれか一方を示し、Ｑ及びＲは、それぞれＣ及びＤのいずれか一方である。
【００４５】
また、同様に、画素配列パターンが第２配列パターンである場合、図９に示すように、中心画素Ｐｍと同色周辺画素Ｐｓの画素をＭとし、その他の色の画素をＮ、Ｑ、Ｒとすると、第２配列パターンにおける画素Ｎ、Ｑ、Ｒの配置は図９に示すようになる。なお、この場合、ＮはＣまたはＤの画素のいずれか一方を示し、Ｑ及びＲは、それぞれＡ及びＢのいずれか一方である。
【００４６】
すなわち、第１及び第２配列パターンとは、中心画素Ｐｍを中心とする５×５画素領域Ｆｍ内における、同一色のフィルタが重ねられた画素の配置パターンを示すものであり、中心画素Ｐｍと同色の同色周辺画素Ｐｓの配置位置のみならず、中心画素Ｐｍに対して異なる色であって、互いに同色である画素（Ｎ、Ｑ、Ｒ）同士の配置位置をも示すものである。
【００４７】
図１０は、信号処理ブロックの回路構成を示した図である。図１０を用いて信号処理ブロック１２５で行われる信号処理について説明する。信号処理ブロック１２５には、方向検出ブロック１６０が設けられ、方向検出ブロック１６０では、各画素それぞれについて、相関方向の検出が行われる。相関方向の検出は、一般的に、ｍ行ｎ列マトリクスにおいて、各画素（ｍ×ｎ画素）それぞれを中心画素Ｐｍとし、中心画素Ｐｍと、その中心画素Ｐｍと色が同色である同色周辺画素Ｐｓが用いられて行われる。しかし本例では、同色周辺画素Ｐｓの中心画素Ｐｍに対する配列パターンが上述したように複数（図２の画素パターンでは２種類）存在し、同色周辺画素Ｐｓを画一的に選択することができない。
【００４８】
したがって、方向検出ブロック１６０では、中心画素Ｐｍに対して、その中心画素Ｐｍと同色の同色周辺画素Ｐｓが第１及び第２配列パターンに位置すると各々仮定され、各中心画素Ｐｍについて、これら２つの画素配列パターンの場合の相関方向が検出される。
【００４９】
すなわち、信号処理ブロック１２５の各第１〜第４方向検出回路１６１〜１６４はそれぞれ、画素配列が、特定の画素配列パターン（本例では第１及び第２配列パターン）にあると仮定し、仮定的な相関方向（仮相関方向）を検出する。
【００５０】
第１方向検出回路１６１には、１フレーム分のデジタル画像信号である画素データＰ１１〜Ｐｍｎ（画像生データ）が入力される。第１方向検出回路１６１では、各画素それぞれが順次中心画素Ｐｍと定められ、その定められた中心画素Ｐｍの画素データＰｉｊと、その中心画素Ｐｍを中心とする５×５画素領域Ｆｍの各画素データとが、順次読み出される。
【００５１】
第１方向検出回路１６１では、５×５画素領域Ｆｍの画素配列は全て第１配列パターンであると仮定され、第１配列パターンに従うと、中心画素Ｐｍと同一色のフィルタが重ねられていると仮定される同色周辺画素Ｐｓ（図４参照）が第１特定周辺画素Ｐｓ’と定められる。そして、第１方向検出回路１６１では、その同一色のフィルタが重ねられていると仮定された第１特定周辺画素Ｐｓ’の画素データＰ（ｉ−２）（ｊ−１）、Ｐ（ｉ−２）（ｊ＋１）、Ｐｉ（ｊ−２）、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−１）、Ｐ（ｉ＋２）（ｊ＋１）（図６参照）と中心画素Ｐｍの画素データＰｉｊが用いられて仮相関方向が検出される。
【００５２】
仮相関方向の検出では、各５×５画素領域Ｆｍにおいて、水平方向（すなわち、行方向）、垂直方向（すなわち、列方向）、垂直方向に対して左方向に４５°傾く左斜め方向、及び垂直方向に対して右方向４５°に傾く右斜め方向それぞれにおける、中心画素Ｐｍと、第１特定周辺画素Ｐｓ’の相関が、式（１）〜（４）に示すようにそれぞれ相関指数Ｄ１〜Ｄ４として算出される。相関指数Ｄ１は、中心画素Ｐｍとその中心画素Ｐｍに対して垂直方向に位置する特定周辺画素Ｐｓ’の相関を示す指数であって、中心画素Ｐｍに対して上方向に位置する特定周辺画素Ｐｓ’（第１画素群）の画素データ（Ｐ（ｉ−２）（ｊ−１）、Ｐ（ｉ−２）（ｊ＋１））、及び下方向に位置する特定周辺画素Ｐｓ’（第２画素群）の画素データ（Ｐ（ｉ＋２）（ｊ−１）、Ｐ（ｉ＋２）（ｊ＋１））それぞれが相加平均され、これら平均値と中心画素の画素データＰｉｊとの差分が、加算され算出される。
【００５３】
【数１】
2007184905.tif 000003
【００５４】
すなわち、本実施形態では、中心画素Ｐｍの画素データＰｉｊと特定周辺画素Ｐｓ’の画素データの差が大きいほど、相関指数Ｄ１は大きくなり、相関が弱いと判断される。相関指数Ｄ２（水平方向）、Ｄ３（左斜め方向）、及びＤ４（右斜め方向）についても、相関指数Ｄ１と同様に算出される。このように算出された相関指数Ｄ１〜Ｄ４は互いに比較され、最も小さい値の相関指数に対応する方向が相関が最も強いとして、仮相関方向（第１仮相関方向）として検出される。すなわち中心画素Ｐｍと特定周辺画素Ｐｓ’の色信号が、相対的に近似する方向が各中心画素Ｐｍの相関方向として検出される。なお、相関指数Ｄ１〜Ｄ４の少なくとも２つの指数が同一値であり、かつ最も小さい場合には、相関方向がないとして、仮相関方向は“相関方向なし”と検出される。
【００５５】
相関指数Ｄ１〜Ｄ４の算出において、各画素の画素データが平均されるとき、図１１に示す第１オペレーター（マトリクス）が使用される。すなわち、本実施形態では、各同色周辺画素に乗ぜられる係数は全て１であり、各画素データは上述したように相加平均により、相関指数Ｄ１〜Ｄ４が算出される。ただし、相関方向の検出においては、各係数には適宜重み付けがつけられていても良く、すなわち、相関指数Ｄ１〜Ｄ４は加重平均により、検出されても良い。
【００５６】
第２方向検出回路１６２には、第１方向検出回路１６１と同様に、１フレーム分のデジタル画像信号である画素データＰ１１〜Ｐｍｎ（画像生データ）が入力される。そして第２方向検出回路１６２では、各画素それぞれが順次中心画素Ｐｍと定められ、その定められた中心画素Ｐｍの画素データと、その中心画素Ｐｍを中心とする５×５画素領域Ｆｍの各画素データＰｉｊとが、順次読み出される。
【００５７】
第２方向検出回路１６２では、５×５画素領域Ｆｍの画素配列は全て第２配列パターンであると仮定され、第２配列パターンに従うと、中心画素Ｐｍと同一色のフィルタが重ねられていると仮定される同色周辺画素Ｐｓ（図５参照）が第２特定周辺画素Ｐｓ”と定められる。そして、第２方向検出回路１６２では、その同一色のフィルタが重ねられていると仮定された第２特定周辺画素Ｐｓ”の画素データＰ（ｉ−２）（ｊ−２）、Ｐ（ｉ−２）ｊ、Ｐ（ｉ−２）（ｊ＋２）、Ｐｉ（ｊ−２）、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−２）、Ｐ（ｉ+２）ｊ、Ｐ（ｉ＋２）（ｊ＋２）と中心画素Ｐｍの画素データが用いられて仮相関方向が検出される。
【００５８】
仮相関方向の検出では、各５×５画素領域Ｆｍにおいて、第１方向検出回路１６１と同様に、水平方向、垂直方向、左斜め方向、右斜め方向における、中心画素Ｐｍと、第２特定周辺画素Ｐｓ”の相関が、それぞれ相関指数Ｄ１〜Ｄ４として算出される。相関指数Ｄ１は、中心画素Ｐｍとその中心画素Ｐｍに対して垂直方向に位置する第２特定周辺画素Ｐｓ”の相関を示す指数であって、中心画素Ｐｍに対して上方向に位置する第２特定周辺画素Ｐｓ”（第１画素群）の画素データ（Ｐ（ｉ−２）ｊ、Ｐ（ｉ−２）（ｊ−２）、Ｐ（ｉ−２）（ｊ＋２））、及び下方向に位置する特定周辺画素Ｐｓ’（第２画素群）の画素データ（Ｐ（i＋２）j、Ｐ（ｉ＋２）（ｊ−２）、Ｐ（ｉ＋２）（ｊ＋２））それぞれが加重平均され、その加重平均と中心画素Ｐｍの画素データＰｉｊとの差分がそれぞれ算出され、その算出された差分の合計が、Ｄ１として算出される。
【００５９】
相関指数Ｄ２〜Ｄ４についても、相関指数Ｄ１と同様に式（６）〜（８）により算出される。算出された相関指数Ｄ１〜Ｄ４は比較され、最も小さい値の相関指数に対応する方向が相関が最も強いとして、第２仮相関方向として検出される。なお、相関指数Ｄ１〜Ｄ４の少なくとも２つの指数が同一指数であり、かつ最も小さい場合には、相関方向がないとして、仮相関方向は“相関方向なし”と検出される。
【００６０】
【数２】
2007184905.tif 000004
【００６１】
相関指数Ｄ１〜Ｄ４の算出において、各画素の画素データが加重平均されるとき、加重平均に使用される係数は、図１２に示すオペレーターの係数が使用される。ここで、図１２に示すように加重平均に使用される係数は１及び２であるが、この係数は、その画素の中心画素に対する方向性に応じて決定される。すなわち、相関指数Ｄ１においては、特定周辺画素Ｐｓが中心画素Ｐｍの同一列に位置する場合、その画素データには係数２が乗ぜられる。一方、特定周辺画素Ｐｓが中心画素Ｐｍの上下には位置するが、同一列には位置しない場合、その画素データには係数１が乗ぜられる。なお、指数関数Ｄ２〜Ｄ４についても、同様に係数が２または１に定められる。
【００６２】
このように各中心画素Ｐｍについて、その５×５画素領域Ｆｍの画素配列パターンが、全て第１配列パターンであると仮定して算出された第１仮相関方向は、方向信号として、第１画素補間回路１７１に入力される。また、各中心画素Ｐｍについて、その５×５画素領域Ｆｍの画素配列パターンが、全て第２配列パターンであると仮定して算出された第２仮相関方向は、方向信号として、第２画素補間回路１７２に入力される。
【００６３】
なお、図２に示す画素配列は、５×５画素領域Ｆｍにおける画素配列パターンが２通りなので、第３及び第４方向検出回路１６３、１６４では仮相関方向の検出が実施されない。すなわち、本実施形態では、５×５画素領域Ｆｍの画素配列パターンの数に応じて、検出される仮相関方向の数が設定される。例えば、画素配列パターンが４種類存在する場合には、第１〜第４方向検出回路１６１〜１６４の全てが使用され、第１〜第４の仮相関方向が検出され、第１〜第４の仮相関方向それぞれは、方向信号として第１〜第４画素補間回路１７１〜１７４に入力される。
【００６４】
また、方向検出ブロック１６０には、数式（１）〜（８）を含め、相関指数を算出するための数式が予め複数パターン記憶されており、入力された画素配列情報に応じて、相関指数を算出するための数式が読み出される。図２に示す画素配列の例では、それぞれ数式（１）〜（４）、及び（５）〜（８）が読み出され、これら数式に関する情報が第１及び第２方向検出回路１６１、１６２に入力される。第１及び第２方向検出回路１６１、１６２では、この数式（１）〜（４）、及び（５）〜（８）に基づいて上述したように相関方向が検出される。なお、本例の固体撮像素子は、５×５画素領域Ｆｍにおける画素配列パターンは、２種類であるので、第３及び第４方向検出回路１６３、１６４には数式に関する情報は入力されないので、上述したように相関方向の検出も実施されない。
【００６５】
信号処理ブロック１２５では、相関方向の検出に続いて、画素補間ブロック１７０において、画素補間が行われる。画素補間ブロック１７０には、方向検出ブロック１６０と同様に第１〜第４画素補間回路１７１〜１７４が設けられる。各第１〜第４画素補間回路１７１〜１７４には、それぞれ画素データＰ１１〜Ｐｍｎ（画像生データ）が入力され、それぞれの回路において、これら画素データＰ１１〜Ｐｍｎを用いて、画素補間が行われる。
【００６６】
以下、第１〜第４画素補間回路１７１〜１７４で行われる画素補間について説明する。上述したように、固体撮像素子においては、中心画素ＰｍがＡ又はＢである場合、５×５画素領域Ｆｍの画素配列パターンは、図８に示すように、第１配列パターンとなる。また、中心画素ＰｍがＣ又はＤである場合、５×５画素領域Ｆｍの画素配列パターンは、図９に示すように第２配列パターンとなる。すなわち、５×５画素領域Ｆｍにおいて、同一色の画素の配置は、第１及び第２配列パターンのいずれかである。一方、画素補間においては、補間データは、同一色の画素の画素データが加重平均または相加平均されて算出される。
【００６７】
したがって、第１画素補間回路１７１では、全ての画素が、第１配列パターンに従って配列されると仮定され、各中心画素Ｐｍについて、図８に示すＭ、Ｎ、Ｑ、Ｒの画素それぞれが同一のフィルタが重ねられていると仮定されて画素補間が行われ、各中心画素の第１補間信号が生成される。すなわち、第１画素補間回路１７１では、各中心画素Ｐｍそれぞれについて、まず、中心画素Ｐｍを中心とした５×５画素領域Ｆｍの画素データＰ（ｉ−２）（ｊ−２）、・・・、Ｐｉｊ、・・・、Ｐ（ｉ＋２）（ｊ＋２）（すなわち、図６に示す画素データ）が読み出される。
【００６８】
一方、制御回路１５０では、５×５画素領域Ｆｍ内において、第１配列パターンに従うと、同一色のフィルタが重ねられていると仮定される画素同士の画素データが、仮同一色グループとしてグループ化される。すなわち、図６、８から明らかなように、Ｐ（ｉ−２）（ｊ−１）、Ｐ（ｉ−２）（ｊ＋１）、Ｐｉ（ｊ−２）、Ｐｉｊ、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−１）、Ｐ（ｉ＋２）（ｊ＋１）の画素データが、仮同一色（Ｍ）グループとしてグループ化される。またＰ（ｉ−２）（ｊ−２）、Ｐ（ｉ−２）ｊ、Ｐ（ｉ−２）（ｊ＋２）、Ｐｉ（ｊ−１）、Ｐｉ（ｊ＋１）、Ｐ（ｉ＋２）（ｊ−２）、Ｐ（ｉ＋２）ｊ、Ｐ（ｉ＋２）（ｊ＋２）の画素データが仮同一色（Ｎ）グループとしてグループ化される。また、Ｐ（ｉ−１）（ｊ−２）、Ｐ（ｉ−１）ｊ、Ｐ（ｉ−１）（ｊ＋２）、Ｐ（ｉ＋１）（ｊ−２）、Ｐ（ｉ＋１）ｊ、Ｐ（ｉ＋１）（ｊ＋２）の画素データが仮同一色（Ｑ）グループとしてグループ化される。また、Ｐ（ｉ−１）（ｊ−１）、Ｐ（ｉ−１）（ｊ＋１）、Ｐ（ｉ＋１）（ｊ−１）、Ｐ（ｉ＋１）（ｊ＋１）の画素データが仮同一色（Ｒ）グループとしてグループ化される。各画素がいずれのグループにグループ化されるかについての画素情報は、このように第１配列パターンに従い制御回路１５０で生成され、第１画素補間回路１７１に入力される。
【００６９】
次に、第１画素補間回路１７１では、第１仮相関方向に応じて、予め画素補間ブロック１７０内に格納されている係数マトリクスが読み出される。ここで、係数マトリクスは、図１３に示すように、仮相関方向の方向毎に定められているオペレーター（５×５マトリクス）であって、仮相関方向の方向及び中心画素Ｐｍからの離間距離に応じて、それぞれの画素について係数が定められる。
【００７０】
例えば、仮相関方向が垂直方向ならば、係数マトリクスＹ１が読み出され、５×５画素領域Ｆｍ内において、上下に延びる画素領域の画素のみに係数１〜４が定められ、左端及び右端の画素領域の画素には、係数が０に定められる。すなわち、第１仮相関方向が垂直方向である場合、左端及び右端の画素領域の画素は、その中心画素Ｐｍに関する補間信号の算出には使用されず、垂直方向に沿って位置する画素の色信号が使用されて補間信号の算出が行われる。また、例えば第１仮相関方向が水平方向ならば、係数マトリクスＹ２に示すように、水平方向に延びる画素領域のみに係数１〜４が定められ、上端及び下端の画素領域の画素は、係数が０に定められ、水平方向に沿って位置する画素の画素データが使用されて、補間信号の算出が行われる。第１仮相関方向が左斜め方向、右斜め方向の場合も同様である。また、相関方向が相関方向なしとされた場合、補間信号の算出は、５×５画素領域Ｆｍの４隅の画素を除く５×５画素領域Ｆｍの全ての画素の画素データを用いて行われる。なお、本実施形態における係数マトリクスＹ１〜Ｙ５は、相関方向を検出するための１例であって、他のマトリクスにより相関方向が検出されても良い。勿論、オペレーターのサイズも５×５に限定されない。
【００７１】
５×５画素領域Ｆｍの画素データ（Ｐ（ｉ−２）（ｊ−２）、・・・、Ｐｉｊ、・・・、Ｐ（ｉ＋２）（ｊ＋２））それぞれには、図１３に示す各画素に対応した係数が乗ぜられた後、第１配列パターンに従って仮同一色グループとしてグループ化された同一色画素Ｍ、Ｎ、Ｑ、Ｒの画素データ同士が加算され、この画素データの加算値が、係数の合計によって除せられ、第１補間信号ｍ’、ｎ’、ｑ’、及びｒ’が算出される。
【００７２】
したがって、例えば、仮相関方向が縦方向である場合、中心画素の位置における第１補間信号ｍ’、ｎ’、ｑ’、及びｒ’は式（９）〜（１２）となる。
【数３】
2007184905.tif 000005
【００７３】
第２画素補間回路１７２では、全ての画素が、第２配列パターンの配列になると仮定され、図９に示すＭ、Ｎ、Ｑ、Ｒの画素それぞれが同一のフィルタが重ねられていると仮定されて画素補間が行われ、第２補間信号が生成される。すなわち、第２画素補間回路１７２では、まず、中心画素Ｐｍを中心とした５×５画素領域Ｆｍの画素データＰ（ｉ−２）（ｊ−２）、・・・、Ｐｉｊ、・・・、Ｐ（ｉ＋２）（ｊ＋２）（すなわち、図７に示す画素データ）が読み出される。
【００７４】
一方、制御回路１５０では、第２配列パターンに従うと、同一色のフィルタが重ねられていると仮定される画素同士の画素データが、仮同一色グループとしてグループ化される。すなわち、図７、９から明らかなように、Ｐ（ｉ−２）（ｊ−２）、Ｐ（ｉ−２）ｊ、Ｐ（ｉ−２）（ｊ＋２）、Ｐｉ（ｊ−２）、Ｐｉｊ、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−２）、Ｐ（ｉ＋２）ｊ、Ｐ（ｉ＋２）（ｊ＋２）の画素データが、同一色画素Ｍの画素データと仮定される。また、Ｐ（ｉ−２）（ｊ−１）、Ｐ（ｉ−２）（ｊ＋１）、Ｐｉ（ｊ−１）、Ｐｉ（ｊ＋１）、Ｐ（ｉ＋２）（ｊ−１）、Ｐ（ｉ＋２）（ｊ＋１）が同一色画素Ｎの画素データと仮定される。また、Ｐ（ｉ−１）（ｊ−２）、Ｐ（ｉ−１）ｊ、Ｐ（ｉ−１）（ｊ＋２）、Ｐ（ｉ＋１）（ｊ−１）、Ｐ（ｉ＋１）（ｊ＋１）が同一色画素Ｑの画素データと仮定される。また、Ｐ（ｉ−１）（ｊ−１）、Ｐ（ｉ−１）（ｊ＋１）、Ｐ（ｉ＋１）（ｊ−２）、Ｐ（ｉ＋１）ｊ、Ｐ（ｉ＋１）（ｊ＋２）が同一色画素Ｒの画素データと仮定される。各画素がいずれのグループにグループ化されるかについての画素情報は、このように第２配列パターンに従い制御回路１５０で生成され、第１画素補間回路１７２に入力される。
【００７５】
次に、第２画素補間回路１７２では、第２仮相関方向に応じて、予め画素補間ブロック１７０内に格納されているオペレーター（５×５係数マトリクス）が読み出される。ここで、係数マトリクスは、第１画素補間回路１７１と同様に、第２仮相関方向に応じて係数マトリクスＹ１〜Ｙ５のいずれかが読み出される。
【００７６】
５×５画素領域Ｆｍの画素データ（Ｐ（ｉ−２）（ｊ−２）、・・・、Ｐｉｊ、・・・、Ｐ（ｉ＋２）（ｊ＋２））それぞれには、読み出された係数マトリクスの図１２に示す各画素に対応した係数が乗ぜられた後、第２配列パターンに従って同一色と仮定された仮同一色画素Ｍ、Ｎ、Ｑ、Ｒの画素データ同士が加算され、この画素データの加算値が、係数の合計によって除せられ、第２補間信号ｍ”、ｎ”、ｑ”、及びｒ”が算出される。
【００７７】
したがって、例えば、第２仮相関方向が垂直方向である場合、中心画素の位置における第２補間信号ｍ”、ｎ”、ｑ”、及びｒ”は式（１３）〜（１６）となる。なお、本例では、第３及び第４画素補間回路１７３、１７４はそれぞれ仮相関方向に関する情報が、方向検出ブロック１６０から入力されない。したがって、第３及び第４画素補間回路１７３、１７４では補間信号は生成されない。
【数４】
2007184905.tif 000006
【００７８】
図１４に示すように、第１及び第２画素補間回路１７１、１７２で生成された第１及び第２補間信号は、画素判別ブロック１８０の第１及び第２画素判別回路１８１、１８２に１行１列から、ｍ行ｎ列の画素までそれぞれ画素毎に順次入力される。ここで、第１及び第２補間信号は、上述したように、各画素（ｍ×ｎ画素）それぞれについて生成されており、同じ画素に関する第１及び第２補間信号は、同期して、第１及び第２画素判別回路１８１、１８２に入力される。第１及び第２画素判別回路１８１、１８２では、同期して入力された第１及び第２補間信号のうちいずれか一方が採用補間信号として採用されると同時に、その採用された採用補間信号の各信号ｍ’、ｎ’、ｑ’、及びｒ’（またはｍ”、ｎ”、ｑ”、及びｒ”）それぞれの色が特定され、その色が特定された採用補間信号は画素補間信号として取得される。なお、本例では、第３及び第４画素判別回路１８３、１８４には補間信号が入力されない。また、実際には、中心画素が、１行、２行、ｍ−１行、若しくはｍ行、又は１列、２列、ｎ−１列、若しくはｎ列に位置する場合、これら中心画素に関する補間信号は生成されない。これら中心画素は、５×５画素領域Ｆｍの中心に位置することはできないからである。
【００７９】
図１４を用いて、第１及び第２補間信号から一方を採用補間信号として採用する方法について説明する。第１画素判別回路１８１には、制御回路１５０から図１４に示すような第１、第２、第５、及び第６パルス信号が入力される。一方、第２画素判別回路１８２には、制御回路１５０から第３、第４、第７、及び第８パルス信号が入力される。
【００８０】
図１４に示すように、第１及び第５パルス信号は、色Ａのフィルタが重ねられた画素に関する第１及び第２補間信号が、第１及び第２画素判別回路１８１、１８２へ入力されるのに同期して、第１画素判別回路１８１に入力される。色Ａのフィルタが重ねられた画素は、基本マトリクス配列αにおいて、１行１列または３行２列に位置し（図２参照）、すなわち、画像生データにおいて、４ｓ（ｓは０以上の整数）＋１行の奇数列に位置する画素、または４ｓ＋３行の偶数列に位置する画素である。ここで、第１パルス信号は、４ｓ＋１行の奇数列に位置する画素に関する第１及び第２補間信号が入力されるのに同期して入力される。また、第５パルス信号は、４ｓ＋３行の偶数列に位置する画素に関する第１及び第２補間信号が入力されるのに同期して入力される。そして、第１画素判別回路１８１では、第１及び第５パルス信号に同期する第１補間信号が、採用補間信号として採用される。一方、第２画素判別回路１８２には、第１及び第５パルス信号が入力されず、したがって、４ｓ＋１行でかつ奇数列に位置する画素、または４ｓ＋３行でかつ偶数列に位置する画素に関する第２補間信号は、採用補間信号としては採用されない。
【００８１】
すなわち、基本マトリクス配列αにおいて１行１列または３行２列に位置する画素は、その画素を中心画素とする５×５画素領域Ｆｍが第１配列パターン（図８参照）であると特定され、この特定に基づき、第１又は第５パルス信号が第１画素判別回路１８１に出力される。第１画素判別回路１８１では、第１又は第５パルス信号に同期して入力される第１補間信号が、基本マトリクス配列αにおいて１行１列又は３行２列に位置する画素の採用補間信号として採用される。
【００８２】
第２及び第６パルス信号は、色Ｂのフィルタが重ねられた画素に関する第１及び第２補間信号が、第１及び第２画素判別回路１８１、１８２に入力されるのに同期して、第１判別回路１８１に入力される。ここで色Ｂのフィルタが重ねられた画素は、基本マトリクス配列αにおいて、１行２列または３行１列に位置し（図２参照）、画像生データにおいて、４ｓ＋１行の偶数列の画素、または４ｓ＋３行の奇数列の画素である。ここで、第２パルス信号は、４ｓ＋１行の偶数列の画素に関する第１及び第２補間信号の入力に同期して入力される。また第６パルス信号は、４ｓ＋３行の奇数列の画素に関する第１及び第２補間信号の入力に同期して入力される。そして第１画素判別回路１８１では、第２及び第６パルス信号の入力に同期する第１補間信号が、採用補間信号として採用される。一方、第２画素判別回路１８２には、第２及び第６パルス信号が入力されず、したがって、４ｓ＋１行の偶数列の画素、及び４ｓ＋３行の奇数列の画素に関する第２補間信号は、採用補間信号としては採用されない。
【００８３】
すなわち、基本マトリクス配列αにおいて、１行２列または３行１列に位置する画素は、その画素を中心画素とする５×５画素領域Ｆｍが第１配列パターンであると特定され、この特定に基づき、第２又は第６パルス信号が第１画素判別回路１８１に出力される。第１画素判別回路１８１では、第２又は第６パルス信号に同期して入力される第１補間信号が、基本マトリクス配列αにおいて１行２列または３行１列に位置する画素の採用補間信号として採用される。
【００８４】
以上のように、４ｓ＋１行、及び４ｓ＋３行（すなわち、奇数行）の各画素については、第１、第２、第５又は第６パルス信号に基づき、第１補間信号ｍ’、ｎ’、ｑ’、及びｒ’が採用補間信号として採用される。
【００８５】
同様に、第２画素判別回路１８２には、４ｓ＋２行の奇数列の画素に関する第１及び第２補間信号が入力されるのに同期する第３パルス信号が入力され、この第３パルス信号の入力に基づき、これらの画素に関する採用補間信号として第２補間信号が採用される。また、第２画素判別回路１８２には、４ｓ+４行の奇数列の画素に関する第１及び第２補間信号が入力されるのに同期する第７パルス信号が入力され、この第７パルス信号の入力に基づき、これらの画素に関する採用補間信号として第２補間信号が採用される。
【００８６】
第２画素判別回路１８２には、４ｓ＋２行の偶数列の画素に関する第１及び第２補間信号が入力されるのに同期する第４パルス信号が入力され、この第４パルス信号の入力に基づき、これらの画素に関する補間信号として第２補間信号が採用される。また、４ｓ+４行の偶数列の画素に関する第１及び第２補間信号が入力されるのに同期する第８パルス信号が入力され、この第８パルス信号の入力に基づき、これらの画素に関する補間信号として第２補間信号が採用される。
【００８７】
すなわち、画素判別ブロック１８０では、第３、第４、第７、及び第８パルス信号に基づき、基本マトリクス配列αにおいて、２行または４行に位置する画素（偶数行の画素）は、その画素を中心画素とする５×５画素領域Ｆｍが第２配列パターンであると特定されて、第２補間信号が採用補間信号として採用される。
【００８８】
以上のように、画素判別ブロック１８０は、中心画素が基本マトリクスαにおいていずれの位置に配置されるかによって、５×５画素領域内における画素配列パターンが第１及び第２配列パターンのいずれかであるかを特定する。そして、第１及び第２補間信号の中から、特定された画素配列パターンに従って生成された補間信号を採用補間信号として採用する。
【００８９】
画素判別ブロック１８０では、第１及び第２補間信号のいずれかが採用補間信号として特定されるとともに、第１乃至第８パルス信号に基づき、採用補間信号の各信号ｍ’、ｎ’、ｑ’、ｒ’（またはｍ”、ｎ”、ｑ”、及びｒ”）それぞれの色も特定される。次ぎに、図１４及び図１５を用いて、各信号の色が特定される方法について説明する。
【００９０】
図１４に示すように、第１パルス信号は、４ｓ＋１行（すなわち、基本マトリクスαでは、１行）の奇数列の画素に関する第１及び第２補間信号が入力されるときに同期して入力される。第５パルス信号は、４ｓ＋３行（すなわち、基本マトリクスαでは、３行）の偶数列の画素に関する第１及び第２補間信号が入力されるときに同期して入力される。
【００９１】
一方、画素配列は基本マトリクスαが行方向及び列方向に複数並べられて構成される（図２参照）。したがって、４ｓ＋１行の奇数列に位置する画素（色Ａのフィルタが重ねられた画素）を中心画素Ｐｍとしたとき、５×５画素領域Ｆｍの配列はＸ１（図１５参照）であり、５×５画素領域Ｆｍにおける画素Ｍ、Ｎ、Ｑ、及びＲのフィルタの色は、それぞれ色Ａ、Ｂ、Ｃ、及びＤになる。したがって、４ｓ＋１行の奇数列に位置する画素に関する採用補間信号ｍ’、ｎ’、ｑ’、及びｒ’の各信号の色は、第１パルス信号に基づき、色Ａ、Ｂ、Ｃ、及びＤに特定される。
【００９２】
このように、入力される第１パルス信号により、採用補間信号ｍ’、ｎ’、ｑ’、及びｒ’の色は、色Ａ、Ｂ、Ｃ、及びＤに特定される。同様に、４ｓ＋３行の偶数列に位置する画素（色Ａのフィルタが重ねられた画素）を中心画素としたとき、５×５画素領域Ｆｍの配列はＸ６（図１５参照）であり、５×５画素領域Ｆｍにおける画素Ｍ、Ｎ、Ｑ、及びＲのフィルタの色は、それぞれ色Ａ、Ｂ、Ｄ、及びＣになる。したがって、４ｓ＋３行の偶数列の画素の採用補間信号ｍ’、ｎ’、ｑ’、及びｒ’の色は、第５パルス信号の入力に基づき、色Ａ、Ｂ、Ｄ、及びＣに特定される。
【００９３】
色Ｂ〜Ｄのフィルタが重ねられた画素についても、採用補間信号ｍ’、ｎ’、ｑ’、及びｒ’（またはｍ”、ｎ”、ｑ”、及びｒ”）の色も、同様に第２乃至第４、及び第６乃至第８パルス信号に基づき特定される。
【００９４】
以上のように、本実施形態では、複雑な画素配列を有する固体撮像素子において、画素データを独立読み出し方式により読み出した場合でも、各画素の色信号について、その画素配列に応じて、画素補間を行うことができる。また、本実施形態では、画素配列に応じて適切に画素補間及び相関方向の検出を行うので、偽色の発生を低減させることができる。さらには、本実施形態では、複雑な画素配列を有する固体撮像素子から画素データを独立読み出し方式により読み出すことができ、より画像の解像度を高めることができる。
【００９５】
以下、図２の固体撮像素子とは、異なる画素配列を有する固体撮像素子を本実施形態に適用した場合の例について説明する。図１６は、図２の場合とは、異なる画素配列を有する固体撮像素子の例を示す。この画素配置においては、同一色のフィルタが重ねられた画素の配置位置パターンは、４種類存在し、図１７に示すように、第１乃至第４配列パターンが存在する。
【００９６】
本例では、方向検出ブロック１６０に予め格納されていた、各画素配列パターンに応じた相関指数を算出するための数式に関する情報が読み出され、方向検出ブロック１６０の各方向検出回路１６１〜１６４に入力される。各方向検出回路１６１〜１６４は、入力された数式を用いて、それぞれ画素の配置が、第１乃至第４配列パターンにあると仮定し、第１乃至第４の仮相関方向を検出する。
【００９７】
ここで例えば第１仮相関方向の検出においては、図１７の（Ａ）から理解できるように画素Ｍの画素データが、第１特定周辺画素Ｐｓ’の画素データとして使用される。すなわち、中心画素の画素データをＰｉｊとすると、第１特定周辺画素Ｐｓ’の画素データとして、Ｐ（ｉ−２）（ｊ−１）、Ｐ（ｉ−２）（ｊ＋１）、Ｐｉ（ｊ−２）、Ｐｉ（ｊ＋２）、Ｐ（ｉ＋２）（ｊ−１）、Ｐ（ｉ＋２）（ｊ＋１）の画素データが第１仮相関方向の検出に使用される。同様に、第２乃至第４の方向検出回路１６２〜１６４においても、図１７の（Ｂ）（Ｃ）（Ｄ）の画素Ｍの画素データがそれぞれ特定周辺画素Ｐｓ”、Ｐｓ”’、Ｐｓ””の画素データとして使用される。
【００９８】
画素補間ブロック１７０の各画素補間回路１７１〜１７４には、第１乃至第４の仮相関方向がそれぞれ入力される。各画素補間回路１７１〜１７４では、それぞれ第１乃至第４の仮相関方向、画像生データ、及び図１３に示す係数オペレータ（Ｙ１〜Ｙ５）を用いて、それぞれ第１乃至第４の補間信号が算出される。補間信号の算出は、図１７に示すＭ、Ｎ、Ｑ、Ｒの画素がそれぞれ同一色の画素であるとして実施される。
【００９９】
各補間信号は、それぞれ各画素判別回路１８１〜１８４に入力され、各画素それぞれについて、これら第１乃至第４補間信号のうち、いずれかの信号が各画素の採用補間信号として設定され、第１乃至第１６パルス信号に基づき、各採用補間信号ｍ，ｎ，ｑ，ｒの色がＡＢＣＤのいずれかに特定される。
【０１００】
以上のように、信号処理ブロック１２５では、５×５画素領域Ｆｍの画素配列パターンが４種類存在する場合には、ブロック１６０、１７０、１８０それぞれにおいて、４つの回路が用いられて画素補間信号が算出される。
【０１０１】
さらに、別の画素配列を有する固体撮像素子を本実施形態に適用した場合の例について図１８を用いて説明する。図１８は、全ての奇数行において、Ａ、Ｂの画素が交互に並べられ、全ての偶数行において、Ｃ、Ｄの画素が交互に並べられた例である。このような画素配列においては、同一色のフィルタが重ねられた画素の配列パターンは、１種類のみであり、図１９に示すように第１配列パターンのみである。
【０１０２】
したがって、方向検出ブロック１６０では、第１方向検出回路１６１のみで、相関方向の検出が実施され、第２乃至第４方向検出回路１６２〜１６４では、相関方向の検出は実施されない。すなわち、画素補間は、第１画素補間回路１７１のみで行われ、第１画素補間回路１７１で生成された第１補間信号は、第１画素判別回路１８１に入力され、全ての第１補間信号が、採用補間信号として特定され、第１乃至第２パルス信号に基づき、各画素の画素補間信号として特定される。
【０１０３】
以上のように、本実施形態における信号処理ブロック１２５は、各中心画素Ｐｍを中心とする５×５画素領域Ｆｍにおける画素配列パターンが１〜４種類存在する場合の、固体撮像素子で得られる色信号について、画素補間することができる。
【０１０４】
また、固体撮像素子の画素配列パターンに応じて、制御回路１５０に入力される画素配列情報は変更されるので、本実施形態に係る色信号処理ブロック１２５は、固体撮像素子の画素配列パターンに応じて、適切な相関方向を検出することができる。したがって、スコープ１０の種類が変更され、固体撮像素子の画素配列が変更されても、その変更に応じて適切に相関方向の検出を実施することができる。勿論、画素補間に関しても同様であり、これにより固体撮像素子の画素配列が変更されても、適切な輝度、色差信号を得ることができる。
【０１０５】
なお、画素配列パターンが、２種類存在する画素配列の他の例としては、例えば図２０の配列が挙げられる。また、４種類存在する画素配列の他の例としては、例えば図２１の配列が挙げられる。
【０１０６】
また、本実施形態では、固体撮像素子に重ねられるフィルタの色は３色または５色以上でも良く、例えば３色の例としては、図２２に示すベイヤー配列が挙げられる。なお、図２２の配列では、中心画素がＡの場合と、中心画素がＢ又はＣの場合で、同一色の画素の配置位置が異なるので、画素配列は２種類存在することになる。
【０１０７】
なお、本発明においては、５×５画素領域Ｆｍの画素配列パターンが５種類以上存在する場合においても、各ブロック１６０、１７０、１８０内の回路数をさらに増やすことにより、対応することができる。
【０１０８】
さらに本実施形態においては、画素配列パターンが特定される中心画素Ｐｍを中心とした画素領域Ｆｍは、本実施形態においては、５×５画素であったが、奇数×奇数であれば良く、例えば３×３画素領域または７×７画素領域であっても良い。
【０１０９】
なお、以上の説明においては、各画素の画素信号が、画素毎に撮像センサ１４から独立に読み出されたが、本発明は、各画素の画像信号が、垂直方向の上下２画素の画素が加算され読み出される場合にも適用することができる。また、本実施形態においては、画素信号は、方向検出ブロック及び画素補間ブロックに入力された後、画素判別ブロックに入力されたが、先に画素判別ブロックに入力された後、方向検出ブロック及び画素補間ブロックに入力されても良い。この場合、判別ブロックで、先に各画素の配列パターンを特定した後、画素補間ブロックや方向検出ブロックでその特定された配列パターンに応じた画素補間、方向検出が行われる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の一実施形態に係る電子内視鏡装置のブロック図である。
【図２】撮像センサの受光面の一例を示した図である。
【図３】１フレーム分の画素データを模式的に示した図である。
【図４】第１配列パターンにおける、中心画素と、同色周辺画素の配列パターンを示す図である。
【図５】第２配列パターンにおける、中心画素と、同色周辺画素の配列パターンを示す図である。
【図６】第１配列パターンにおける５×５画素領域の画素データを示す図である。
【図７】第２配列パターンにおける、５×５画素領域の画素データを示す図である。
【図８】５×５画素領域の画素配列パターンが、第１配列パターンである場合の各画素の色の関係を模式的に示す図である。
【図９】５×５画素領域の画素配列パターンが、第２配列パターンである場合の各画素の色の関係を模式的に示す図である。
【図１０】信号処理ブロックの回路構成を示した図である。
【図１１】５×５画素領域の画素配列パターンが、第１配列パターンである場合において、中心画素の仮相関方向を検出するために使用される係数マトリクスである。
【図１２】５×５画素領域の画素配列パターンが、第２配列パターンである場合において、中心画素の仮相関方向を検出するために使用される係数マトリクスである。
【図１３】画素補間信号を算出するために使用される係数マトリクスである。
【図１４】画素判別ブロックに入力されるパルス信号を模式的に示す図である。
【図１５】５×５画素領域における色に関する配列のパターンを示す図である。
【図１６】撮像センサの受光面の他の例を示した図である。
【図１７】図１５の例の画素配列における画素配列パターンを示す図である。
【図１８】撮像センサの受光面の他の例を示した図である。
【図１９】図１７の例の画素配列における画素配列パターンを示す図である。
【図２０】撮像センサの受光面の他の例を示した図である。
【図２１】撮像センサの受光面の他の例を示した図である。
【図２２】撮像センサの受光面の他の例を示した図である。
【符号の説明】
【０１１１】
１４  撮像センサ
１２５  信号処理ブロック
１６０  方向検出ブロック（方向検出手段）
１６１〜１６４  第１〜第４方向検出回路（方向検出部）
１７０  画素補間ブロック
１７１〜１７４  第１〜第４画素補間回路（画素補間部）
１８０  画素判別ブロック
１８１〜１８４  第１〜第４画素判別回路
Ｆｍ  ５×５画素領域
Ｐｍ  中心画素
Ｐｓ  同色周辺画素
Ｐｓ’、Ｐｓ”、Ｐｓ”’、Ｐｓ””  特定周辺画素
【図１】
2007184905.tif 000007
【図２】
2007184905.tif 000008
【図３】
2007184905.tif 000009
【図４】
2007184905.tif 000010
【図５】
2007184905.tif 000011
【図６】
2007184905.tif 000012
【図７】
2007184905.tif 000013
【図８】
2007184905.tif 000014
【図９】
2007184905.tif 000015
【図１０】
2007184905.tif 000016
【図１１】
2007184905.tif 000017
【図１２】
2007184905.tif 000018
【図１３】
2007184905.tif 000019
【図１４】
2007184905.tif 000020
【図１５】
2007184905.tif 000021
【図１６】
2007184905.tif 000022
【図１７】
2007184905.tif 000023
【図１８】
2007184905.tif 000024
【図１９】
2007184905.tif 000025
【図２０】
2007184905.tif 000026
【図２１】
2007184905.tif 000027
【図２２】
2007184905.tif 000028