(57)【要約】【目的】画素補間を行う場合に，比較的正確に方向の相関性を見つけ，かつ偽色の発生を未然に防止する。【構成】着目画素に相当するフォトダイオードＢ２，２を含み，かつフォトダイオードＢ２，２の左上および右下のフォトダイオードＧ１，１およびＲ３，３からなるフォトダイオード群Ｓ１とフォトダイオード群Ｓ１に隣接し，かつ平行であり，構成するフォトダイオードＰＤ上に形成されているカラー・フィルタの色の割合がフォトダイオード群Ｓ１と同じであるフォトダイオード群Ｓ２およびＳ３を規定する。フォトダイオード群Ｓ１，Ｓ２およびＳ３にもとづいて得られる画像データを用いて着目画素の方向の相関性を見つけ，方向の相関性に対応したフィルタを用いて，着目画素の画素補間（Ｒ画像データおよびＧ画像データの生成）を行う。【選択図】  図２
2004364201.tif 000002
【特許請求の範囲】
【請求項１】
三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，
相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，
上記検出手段によって検出された方向に応じて，上記着目画素を補間すべき画素を表わすデータを生成するフィルタを決定するフィルタ決定手段，および
上記フィルタ決定手段によって決定されたフィルタを用いて上記着目画素に対応する補間画素を表わすデータを生成する補間画素生成手段，
を備えた補間画素生成装置。
【請求項２】
上記第１の光電変換素子群に上記着目光電変換素子が含まれている，請求項１に記載の補間画素生成装置。
【請求項３】
上記第１の光電変換素子群の方向および上記第２の光電変換素子群の方向が，検出すべき方向の垂直方向である，請求項１に記載の補間画素生成装置。
【請求項４】
上記第１の光電変換素子群が，共通の光電変換素子を有する第１の複数の光電変換素子群からなり，上記第２の光電変換素子群が，共通の光電変換素子を有する第２の複数の光電変換素子群からなり，
上記第１の複数の光電変換素子群と上記第２の複数の光電変換素子群とが上記着目光電変換素子を中心として，対象位置に配置されているものである，
請求項１に記載の補間画素生成装置。
【請求項５】
三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力する入力手段，
上記入力手段に入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データのレベルを算出する第１の算出手段，
上記入力手段に入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データのレベルを算出する第２の算出手段，および
上記第１の算出手段によって算出されたレベルと上記第２の算出手段によって算出されたレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，
を備えた相関方向検出装置。
【請求項６】
三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，
相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出し，
検出された方向に応じて，上記着目画素を補間すべき画素を生成するフィルタを決定し，
決定されたフィルタを用いて上記着目画素に対応する補間画素を生成する，
補間画素生成方法。
【請求項７】
三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力し，
入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データの第１のレベルを算出し，
入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データの第２のレベルを算出し，
算出された第１のレベルと第２のレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する，
相関方向検出方法。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は，補間画素生成装置および方法ならびに相関方向検出装置および方法に関する。
【０００２】
【発明の背景】
ディジタル・カメラには，撮像装置として３板ＣＣＤをもつものと単板ＣＣＤをもつものとがある。
【０００３】
３板ＣＣＤは，赤色の光成分を透過するフィルタがすべてのフォトダイオードの受光面上に形成されたＲ用ＣＣＤと緑色の光成分を透過するフィルタがすべてのフォトダイオードに形成されたＧ用のＣＣＤと青色の光成分を透過するフィルタがすべてのフォトダイオードに形成されたＢ用のフォトダイオードが形成されたＢ用のＣＣＤから構成される。３板ＣＣＤにおいては，１つの画素に対応するフォトダイオードは，画素の赤色成分，緑色成分および青色成分を表す画像データを得るために３つあることになる。
【０００４】
これに対して，単板ＣＣＤにおいては，３板ＣＣＤと異なり，１つの画素に対応するフォトダイオードは一つであり，画素の赤色成分，緑色成分または青色成分を表す画像データが得られる。画素の赤色成分，緑色成分および青色成分のうち，一色の色成分を表す画像データを得ることができるが，その一色以外の二色の色成分を表す画像データを得ることはできない。このために，たとえば，それらの二色の色成分を表わす画像データを得るために補間処理が行われる。
【０００５】
補間処理の一例として，方向相関の判別を行い，相関があると判別された方向に応じてフィルタ処理が行われるものがある（特許文献１参照）。相関方向に応じてフィルタ処理が行われるので，偽信号の発生を未然に防止できる。
【０００６】
【特許文献１】
特開平８−２９８６６９号公報
【０００７】
同色の画像データを用いて相関方向の判別を行うと，同色の画像データを与えるフォトダイオード間の距離が遠くなることがあるので，比較的正確な方向判別を行うことができないことがある。異なる色の画像データを用いて相関方向の判別を行うと，誤判別により偽色が発生することがある。
【０００８】
【発明の開示】
この発明は，比較的正確な方向判別を行うことができ，かつ偽色の発生を未然に防止することを目的とする。
【０００９】
第１の発明は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出する検出手段，上記検出手段によって検出された方向に応じて，上記着目画素を補間すべき画素を表わすデータを生成するフィルタを決定するフィルタ決定手段，および上記フィルタ決定手段によって決定されたフィルタを用いて上記着目画素に対応する補間画素を表わすデータを生成する補間画素生成手段を備えていることを特徴とする。
【００１０】
第１の発明は，上記補間画素生成装置に適した方法も提供している。すなわち，この方法は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力して補間画素を表すデータを生成する補間画素生成装置において，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データと，にもとづいて，上記着目画素の相関性の高い方向を検出し，検出されたエッジ方向性に応じて，上記着目画素を補間すべき画素を生成するフィルタを決定し，決定されたフィルタを用いて上記着目画素に対応する補間画素を生成するものである。
【００１１】
第１の発明によると，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データと，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データとが得られる。得られた第１の画像データにもとづいて着目画素の相関性の高い方向が検出される。検出された方向に応じて，補間すべき画素を生成するフィルタが決定される。決定されたフィルタを用いて補間画素が生成される。
【００１２】
第１の光電変換素子群と第２の光電変換素子群とは，距離が比較的離れていない。比較的正確に着目画素の相関性の高い方向が分かり，方向に応じた適切なフィルタを用いて補間画素を生成できる。また，第１の光電変換素子群を構成する複数の光電変換素子と第２の光電変換素子群を構成する複数の光電変換素子とは受光面上に形成されているカラー・フィルタの割合が同じなので，着目画素の相関性の方向の誤判別を未然に防止できる。偽色の発生を未然に防止できる。
【００１３】
上記第１の光電変換素子群に上記着目光電変換素子自体が含まれていてもよいし，含まれていなくともよい。
【００１４】
上記第１の光電変換素子の方向および上記第２の光電変換素子群の方向は，たとえば，検出すべき相関性の高い方向の垂直方向である。
【００１５】
上記第１の光電変換素子群は，たとえば，共通の光電変換素子を有する第１の複数の光電変換素子群からなり，上記第２の光電変換素子群は，たとえば，共通の光電変換素子を有する第２の複数の光電変換素子群からなる。この場合，上記第１の複数の光電変換素子群と上記第２の複数の光電変換素子群とが上記着目光電変換素子を中心として，対象位置に配置されているものとなろう。
【００１６】
第２の発明による相関方向検出装置は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力する入力手段，上記入力手段に入力した三原色画像データのうち，相関性の高い方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データのレベルを算出する第１の算出手段，上記入力手段に入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データのレベルを算出する第２の算出手段，および上記第１の算出手段によって算出されたレベルと上記第２の算出手段によって算出されたレベルとにもとづいて，上記着目画素の相関性の高い方向を検出する検出手段を備えていることを特徴とする。
【００１７】
第２の発明は，上記相関方向検出装置に適した方法も提供している。すなわち，この方法は，三原色のいずれかの色の光成分を透過するカラー・フィルタが受光面上に形成されている多数の光電変換素子を含む固体電子撮像素子から出力されるシリアルな三原色画像データを入力し，入力した三原色画像データのうち，相関方向を検出すべき着目画素に対応する着目光電変換素子に隣接した光電変換素子を含む複数の光電変換素子からなる第１の光電変換素子群にもとづいて得られる第１の三原色画像データの第１のレベルを算出し，入力した三原色画像データのうち，上記第１の光電変換素子群に隣接し，かつ受光面上に形成されているカラー・フィルタの透過色成分の割合が上記第１の光電変換素子群を構成する複数の光電変換素子と等しい複数の光電変換素子からなる第２の光電変換素子群にもとづいて得られる第２の三原色画像データの第２のレベルを算出し，算出された第１のレベルと第２のレベルとにもとづいて，上記着目画素の相関性の高い方向を検出するものである。
【００１８】
第２の発明においても，第１の光電変換素子群と第２の光電変換素子群とは，距離が比較的離れていない。比較的正確に着目画素の相関性の高い方向が分かる。したがって，方向に応じた適切なフィルタを用いて補間画素を生成できる。また，第１の光電変換素子群を構成する複数の光電変換素子と第２の光電変換素子群を構成する複数の光電変換素子とは受光面上に形成されているカラー・フィルタの割合が同じなので，着目画素の相関方向の誤判別を未然に防止できる。
【００１９】
【実施例の説明】
図１は，この発明の実施例を示すもので，ＣＣＤの受光面の一部を示している。
【００２０】
ＣＣＤには，水平方向および垂直方向に多数のフォトダイオード（光電変換素子）ＰＤが設けられている。この実施例によるＣＣＤは，いわゆるハニカム配列のものであり，奇数列には偶数行にフォトダイオードＰＤが配置され，偶数列には奇数行にフォトダイオードＰＤが配置されている。もっとも，奇数列には奇数行にフォトダイオードＰＤが配置され，偶数列には偶数行にフォトダイオードＰＤが配置されてもよい。
【００２１】
フォトダイオードＰＤの受光面上には，赤色の光成分を透過する特性をもつ赤色フィルタ，緑色の光成分を透過する特性をもつ緑色フィルタまたは青色の光成分を透過する特性をもつ青色フィルタが形成されている。
【００２２】
図１においては，赤色フィルタが符号「Ｒ」で，緑色フィルタが符号「Ｇ」で，青色フィルタが符号「Ｂ」で，それぞれ示されている。また，ＣＣＤにおけるフォトダイオードＰＤの位置が符号「Ｒ」，「Ｇ」または「Ｂ」に添え字が付されて示されている。この実施例によるＣＣＤは，赤色フィルタ，緑色フィルタまたは青色フィルタが列ごとに交互にフォトダイオードＰＤ上に形成されている。
【００２３】
この実施例においては，右斜め方向，左斜め方向，垂直方向および水平方向のうち，画像を構成する特定の画素（着目画素）の相関方向を検出し，検出された相関方向性に応じた特性をもつフィルタを用いて，画素補間を行うものである。右斜め方向の評価値，左斜め方向の評価値，垂直方向の評価値および水平方向の評価値がそれぞれ後述のように算出される。算出された評価値を用いて着目画素の方向性が検出される。
【００２４】
着目画素に対応するフォトダイオード（着目フォトダイオードという）Ｂ２，２がハッチングで示されている。
【００２５】
図２から図４は，ＣＣＤの受光面の一部を示すもので，着目画素としてフォトダイオードＢ２，２に対応する画素が取り上げられている。フォトダイオードＰＤの識別符号として，フォトダイオードＰＤに形成されているカラー・フィルタの符号を用いる。
【００２６】
図２は，右斜め方向の評価値を算出する場合に利用されるフォトダイオードＰＤの組み合わせを示している。
【００２７】
着目フォトダイオードＢ２，２を中心に左斜め方向に第１の中央フォトダイオード群（第１の光電変換素子群）Ｓ１が規定されている。第１の中央フォトダイオード群Ｓ１には，着目フォトダイオードＢ２，２のほかに，着目フォトダイオードＢ２，２の左上のフォトダイオードＧ１，１および着目フォトダイオードＢ２，２の右斜め下のフォトダイオードＲ３，３が含まれている。第１の中央フォトダイオード群Ｓ１を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，赤色フィルタ，緑色フィルタおよび青色フィルタがそれぞれ１対１対１となる。
【００２８】
第１の中央フォトダイオード群Ｓ１の左斜め下および右斜め上に，第１の中央フォトダイオード群Ｓ１に平行に，かつ隣接して，外部フォトダイオード群（第２の光電変換素子群）Ｓ２およびＳ３がそれぞれ規定されている。第１の外部フォトダイオード群Ｓ２は，第１の中央フォトダイオード群Ｓ１を構成するフォトダイオードＧ１，１，Ｂ２，２およびＲ３，３のそれぞれ左斜め下に位置するフォトダイオードＲ０，２，Ｇ１，３およびＢ２，４から構成されている。第１の外部フォトダイオード群Ｓ２を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第１の中央フォトダイオード群Ｓ１と同様に，１対１対１となる。第２のフォトダイオード群Ｓ３は，第１の中央フォトダイオード群Ｓ１を構成するフォトダイオードＧ１，１，Ｂ２，２およびＲ３，３のそれぞれ右斜め上に位置するフォトダイオードＢ２，０，Ｒ３，１およびＧ４，２から構成されている。第２の外部フォトダイオード群Ｓ３も，第２の外部フォトダイオード群Ｓ３を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第１の中央フォトダイオード群Ｓ１と同様に，１対１対１となる。
【００２９】
第１の中央フォトダイオード群Ｓ１ならびに外部フォトダイオード群Ｓ２およびＳ３のそれぞれの方向は，着目画素の評価値を検出すべき方向（右斜め方向）に対して垂直方向である。
【００３０】
右斜め方向評価値Ｖｒは，式１にもとづいて得られる。
【００３１】
Ｖｒ＝｜Ｓ３−Ｓ１｜＋｜Ｓ１−Ｓ２｜・・・式１
但し，Ｓ１＝Ｇ１，１＋Ｂ２，２＋Ｒ３，３・・・式２
Ｓ２＝Ｒ０，２＋Ｇ１，３＋Ｂ２，４・・・式３
Ｓ３＝Ｂ２，０＋Ｒ３，１＋Ｇ４，２・・・式４
【００３２】
式１から式４において，Ｓ１，Ｓ２およびＳ３は，それぞれ第１の中央フォトダイオード群Ｓ１，第１の外部フォトダイオード群Ｓ２および第２の外部フォトダイオード群Ｓ３に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。また，それぞれのフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データについてフォトダイオードの符号と同じ符号が用いられている。
【００３３】
式１から式４にもとづいて得られる右斜め方向評価値Ｖｒにもとづいて着目画素Ｂ２，２の右斜め方向の相関性が判断される。
【００３４】
互いに隣接し，距離が近いフォトダイオード群にもとづいて得られる画像データによって右斜め方向の評価値Ｖｒが算出されるので，算出される評価値Ｖｒは比較的信頼性の高いものとなる。
【００３５】
図３は，左斜め方向の評価値を算出する場合に利用されるフォトダイオードＰＤの組み合わせを示している。
【００３６】
着目フォトダイオードＢ２，２を中心に右斜め方向に第２の中央フォトダイオード群（第１の光電変換素子群）Ｓ４が規定されている。第２の中央フォトダイオード群Ｓ４には，着目フォトダイオードＢ２，２のほかに，着目フォトダイオードＢ２，２の右上のフォトダイオードＲ３，１および着目フォトダイオードＢ２，２の左下のフォトダイオードＧ１，３が含まれている。第２の中央フォトダイオード群Ｓ４を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，赤色フィルタ，緑色フィルタおよび青色フィルタがそれぞれ１対１対１となる。
【００３７】
第２の中央フォトダイオード群Ｓ４の右斜め下および左斜め上に，第２の中央フォトダイオード群Ｓ４に平行に，かつ隣接して，第３および第４の外部フォトダイオード群（第２の変換素子群）Ｓ５およびＳ６が規定されている。第３のフォトダイオード群Ｓ５は，第２の中央フォトダイオード群Ｓ４を構成するフォトダイオードＲ３，１，Ｂ２，２およびＧ１，３のそれぞれ右斜め下に位置するフォトダイオードＧ４，２，Ｒ３，３およびＢ２，４から構成されている。第３の外部フォトダイオード群Ｓ５を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第２の中央フォトダイオード群Ｓ２と同様に，１対１対１となる。第４のフォトダイオード群Ｓ６は，第２の中央フォトダイオード群Ｓ２を構成するフォトダイオードＲ３，１，Ｂ２，２およびＧ１，３の左斜め上に位置するフォトダイオードＢ２，０，Ｇ１，１およびＲ０，２から構成されている。第４のフォトダイオード群Ｓ６も，第４のフォトダイオード群Ｓ６を構成する３つのフォトダイオードに形成されているカラー・フィルタの割合は，第２の中央フォトダイオード群Ｓ４と同様に，１対１対１となる。
【００３８】
第２の中央フォトダイオード群Ｓ４ならびに外部フォトダイオード群Ｓ５およびＳ６のそれぞれの方向は，着目画素の評価値を検出すべき方向（左斜め方向）に対して垂直方向である。
【００３９】
左斜め方向評価値Ｖｌは，式５にもとづいて得られる。
【００４０】
Ｖｌ＝｜Ｓ６−Ｓ４｜＋｜Ｓ５−Ｓ４｜・・・式５
但し，Ｓ４＝Ｇ１，３＋Ｂ２，２＋Ｒ３，１・・・式６
Ｓ５＝Ｂ２，４＋Ｒ３，３＋Ｇ４，２・・・式７
Ｓ６＝Ｒ０，２＋Ｇ１，１＋Ｂ２，０・・・式８
【００４１】
式５から式８において，Ｓ４，Ｓ５およびＳ６は，それぞれ第２の中央フォトダイオード群Ｓ４，第３の外部フォトダイオード群Ｓ５および第４の外部フォトダイオード群Ｓ６に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。また，それぞれのフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データについてフォトダイオードの符号と同じ符号が用いられている。
【００４２】
式５から式８にもとづいて得られる左斜め方向評価値Ｖｌにもとづいて着目画素Ｂ２，２の左斜め方向の相関性が判断される。
【００４３】
互いに隣接し，距離が近いフォトダイオード群にもとづいて得られる画像データによって左斜め方向の評価値Ｖｌが算出されるので，算出される評価値Ｖｌは比較的信頼性の高いものとなる。
【００４４】
図４は，垂直方向の評価値を算出する場合に利用されるフォトダイオードＰＤの組み合わせを示している。
【００４５】
着目画素Ｂ２，２を含む上部フォトダイオード群Ｓ７と着目画素Ｂ２，２を含む下部フォトダイオード群Ｓ８とが規定されている。上部フォトダイオード群Ｓ７は，着目フォトダイオードＢ２，２とこの着目フォトダイオードＢ２，２の上部に位置しているフォトダイオードＢ２，０とから構成されている。下部フォトダイオード群Ｓ８は，着目フォトダイオードＢ２，２とこの着目フォトダイオードＢ２，２の下部に位置しているフォトダイオードＢ２，４とから構成されている。
【００４６】
上部フォトダイオード群Ｓ７および下部フォトダイオード群Ｓ８のそれぞれの方向は，評価値を算出すべき方向（垂直方向）と同じ方向である。
【００４７】
垂直方向評価値Ｖｖは，式９にもとづいて得られる。
【００４８】
Ｖｖ＝｜２×Ｂ２，０−２×Ｂ２，２｜＋｜２×Ｂ２，４−２×Ｂ２，２｜・・・式９
式９において，Ｂ２，０，Ｂ２，２，Ｂ２，４は，対応する符号が付されたフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データのレベルを示している。また，式９において，２倍しているのは後述するように，水平方向評価値の算出において得られる値とのレベル差を調整するものである。
【００４９】
式９にもとづいて得られる評価値Ｖｖにもとづいて着目画素Ｂ２，２の垂直方向の相関性が判断される。
【００５０】
図５は，水平方向の評価値を算出する場合に利用されるフォトダイオードＰＤの組み合わせを示している。
【００５１】
着目フォトダイオードＢ２，２の回りに第１のフォトダイオード群（第１の光電変換素子群）Ｓ９，第２のフォトダイオード群（第２の光電変換素子群）Ｓ１０，第３のフォトダイオード群（第１の光電変換素子群）Ｓ１１および第４のフォトダイオード群（第２の光電変換素子群）Ｓ１２が規定されている。
【００５２】
第１のフォトダイオード群Ｓ９は，着目フォトダイオードＢ２，２の左上に位置するフォトダイオードＧ１，１と，このフォトダイオードＧ１，１の左下に位置するフォトダイオードＲ０，２と，から構成されている。
【００５３】
第２のフォトダイオード群Ｓ１０は，着目フォトダイオードＢ２，２の右上に位置するフォトダイオードＲ３，１と，このフォトダイオードＲ３，１の右下に位置するフォトダイオードＧ４，２と，から構成されている。
【００５４】
第３のフォトダイオード群Ｓ１１は，着目フォトダイオードＢ２，２の左下に位置するフォトダイオードＧ１，３と，このフォトダイオードＧ１，３の左上に位置するフォトダイオードＲ０，２と，から構成されている。
【００５５】
第４のフォトダイオード群Ｓ１２は，着目フォトダイオードＢ２，２の右下にい値するフォトダイオードＲ３，３と，このフォトダイオードＲ３，３の右上に位置するフォトダイオードＧ４，２と，から構成されている。
【００５６】
これらのフォトダイオード群Ｓ９からＳ１２を構成するフォトダイオードに形成されているカラー・フィルタはＲおよびＧが１対１の割合となっている。
【００５７】
第１のフォトダイオード群Ｓ９と第３のフォトダイオード群Ｓ１１と（複数の第１の光電変換素子群）は，共通のフォトダイオードＲ０，２を含んでいる。また第２のフォトダイオードＳ１０と第４のフォトダイオード群Ｓ１２と（複数の第２の光電変換素子群）は，共通のフォトダイオードＧ４，２を含んでいる。
【００５８】
第１のフォトダイオード群Ｓ９と第４のフォトダイオード群Ｓ１２とは平行であり，かつ着目フォトダイオードＢ２，２を中心に対称の位置に配置されている。また，第２のフォトダイオード群Ｓ１０と第３のフォトダイオード群Ｓ１１とも平行であり，かつ着目フォトダイオードＢ２，２を中心に対称の位置に配置されている。
【００５９】
水平方向評価値Ｖｈは，式１０にもとづいて得られる。
【００６０】
Ｖｈ＝｜Ｓ９−Ｓ１０｜＋｜Ｓ１１−Ｓ１２｜・・・式１０
但し，Ｓ９＝Ｒ０，２＋Ｇ１，１・・・式１１
Ｓ１０＝Ｒ３，１＋Ｇ４，２・・・式１２
Ｓ１１＝Ｒ０，２＋Ｇ１，３・・・式１３
Ｓ１２＝Ｒ３，３＋Ｇ４，２・・・式１４
【００６１】
式１０から式１４において，Ｓ９，Ｓ１０，Ｓ１１およびＳ１２は，それぞれ第１，第２，第３および第４のフォトダイオード群Ｓ１，Ｓ１０，Ｓ１１およびＳ１２に蓄積された信号電荷にもとづいて得られる画像データを加算したものである。
【００６２】
式１０から式１４にもとづいて得られる水平方向評価値Ｖｈにもとづいて，着目画素Ｂ２，２の水平方向の相関性が判断される。
【００６３】
フォトダイオード群Ｓ１〜Ｓ１２を構成するフォトダイオードは，いずれも着目フォトダイオードＢ２，２に隣接している。
【００６４】
図６は，画素補間処理を示すフローチャートである。
【００６５】
まず，補間対象となる着目画素が指定される（ステップ１）。指定された着目画素について，上述したように，式１，式５，式９および式１０にもとづいて評価値Ｖｒ，Ｖｌ，ＶｖおよびＶｈがそれぞれ算出される（ステップ２）。算出された評価値にもとづいて，着目画素の相関性に適したフィルタが用いられて補間処理が行われる。
【００６６】
垂直方向の方向評価値Ｖｖから水平方向の方向評価値Ｖｈが減算された値が所定のしきい値ＴＨより大きければ（ステップ３でＹＥＳ），着目画素は水平方向の相関性が大きいと判断される。このために後述するように，水平補間フィルタを用いて補間画素が生成される（ステップ４）。
【００６７】
水平方向の方向評価値Ｖｈから垂直方向の方向評価値Ｖｖが減算された値が所定のしきい値ＴＨより大きければ（ステップ５でＹＥＳ），着目画素は垂直方向の相関性が大きいと判断される。このために後述するように，垂直補間フィルタを用いて補間画素が生成される（ステップ６）。
【００６８】
右斜め方向の方向評価値Ｖｒから左斜め方向の方向評価値Ｖｌが減算された値が所定のしきい値ＴＨより大きければ（ステップ７でＹＥＳ），着目画素は右斜め方向の相関性が大きいと判断される。このために後述するように，右斜め補間フィルタを用いて補間画素が生成される（ステップ８）。
【００６９】
左斜め方向の方向評価値Ｖｌから右斜め方向の方向評価値ＶＲが減算された値が所定のしきい値ＴＨより大きければ（ステップ９でＹＥＳ），着目画素は左斜め方向の相関性が大きいと判断される。このために後述するように，左斜め補間フィルタを用いて補間画素が生成される（ステップ１０）。
【００７０】
いずれの減算値も所定のしきい値より大きくならなければ（ステップ９でＮＯ），補間処理は行われず，その着目画素に対応する画像データが出力される（ステップ１１）。
【００７１】
一駒分の画像データについての補間処理が終了するまで，着目画素を変更しながらステップ１からステップ１１までの処理が繰り返される（ステップ１２）。
【００７２】
着目画素の相関性に応じて使用される補間フィルタは次の通りである。
【００７３】
赤色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦｒｈ＝（Ｒ３，１＋Ｒ３，３＋Ｒ０，２）／３・・・式１５
垂直補間フィルタＦｒｖ＝（Ｒ３，１＋Ｒ３，３＋Ｒ０，２）／３・・・式１６
右斜め補間フィルタＦｒｒ＝（２×Ｒ３，１＋Ｒ０，４）／３・・・式１７
左斜め補間フィルタＦｒｌ＝（２×Ｒ３，３＋Ｒ０，０）／３・・・式１８
【００７４】
緑色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦｇｈ＝（Ｇ１，１＋Ｇ１，３＋Ｇ４，２）／３・・・式１９
垂直補間フィルタＦｇｖ＝（Ｇ１，１＋Ｇ１，３＋Ｇ４，２）／３・・・式２０
右斜め補間フィルタＦｇｒ＝（２×Ｇ１，３＋Ｇ４，０）／３・・・式２１
左斜め補間フィルタＦｇｌ＝（２×Ｇ１，１＋Ｇ４，４）／３・・・式２２
【００７５】
青色成分の補間画素を生成する場合に利用されるフィルタ
水平補間フィルタＦｂｈ＝（４×Ｂ２，２＋Ｂ−１，１＋Ｂ−１，３＋Ｂ５，１＋Ｂ５，３）／８・・・式２３
垂直補間フィルタＦｂｖ＝（２×Ｂ２，２＋Ｂ２，０＋Ｂ２，４）／４・・・式２４
右斜め補間フィルタＦｂｒ＝（４×Ｂ２，２＋Ｂ２，０＋Ｂ２，４＋Ｂ−１，３＋Ｂ５，１）／８・・・式２５
左斜め補間フィルタＦｂｌ＝（４×Ｂ２，２＋Ｂ２，０＋Ｂ２，４＋Ｂ−１，１＋Ｂ５，３）／８・・・式２６
【００７６】
フォトダイオードＰＤが存在しない位置（虚画素）についての補間画素（着目画素Ｂ２，２の上の位置に生成される補間画素Ｂ２，１）の生成は，式２７にもとづいて行われる。
【００７７】
Ｂ２，１＝（Ｂ２，０＋Ｂ１，１＋Ｂ２，２＋Ｂ３，１）／４・・・式２７
【００７８】
そのほかの位置および色成分の虚画素についての補間画素の生成も式２７と同様にして行うことができるのはいうまでもない。
【００７９】
図７は，上述した補間処理が行われるディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００８０】
図１に示すカラー・フィルタがフォトダイオードＰＤ上に形成されているＣＣＤから被写体像を表すＲＧＢのシリアルの画像データが出力され，オフセット補正回路２１においてオフセット補正が行われる。オフセット補正回路２１から出力されたＲＧＢのシリアルの画像データは，リニア・マトリクス回路２２においてマトリクス補正が行われ本来の被写体の色となるように色補正が行われる。リニア・マトリクス回路２２から出力されたＲＧＢのシリアルの画像データはゲイン補正回路２３においてゲイン補正され，かつガンマ補正回路２４においてガンマ補正される。ガンマ補正回路２４においてガンマ補正された画像データがＲＧＢ補間回路２５に入力する。
【００８１】
ＲＧＢ補間回路２５には，しきい値ＴＨが与えられており，上述した補間処理が行われる。ＲＧＢ補間回路２５の詳細は後述する。
【００８２】
ＲＧＢ補間回路２５において補間処理が行われることにより，シリアルなＲＧＢ画像データからパラレルなＲＧＢ画像データが得られる。ＲＧＢのパラレル画像データは，ＲＧＢ／ＹＣ変換回路２６に入力し，輝度データＹおよび色差データＣが生成される。生成された輝度データＹおよび色差データＣは，ノイズ低減回路２７においてノイズ低減処理が行われる。
【００８３】
ノイズ低減処理が行われた輝度データＹは，輪郭補正回路２８において輪郭補正が行われる。また，ノイズ低減処理が行われた色差データＣは，色差マトリクス２９において色補正が行われる。輪郭補正回路２８から出力された輝度データＹおよび色差マトリクス回路２９から出力された色差データＣが表示装置に与えられることにより，被写体像が表示装置の表示画面上に表示される。また，輪郭補正回路２８から出力された輝度データＹおよび色差マトリクス回路２９から出力された色差データＣがメモリ・カードに与えられることにより，輝度データＹおよび色差データＣがメモリ・カードに記録される。
【００８４】
図８は，ＲＧＢ補間回路２５の電気的構成を示すブロック図である。
【００８５】
シリアルなＲＧＢ画像データがＲＧＢ補間回路２５に与えられると，そのＲＧＢ画像データは遅延装置３０に入力する。遅延装置３０には，４つの１Ｈ遅延回路３１，３２，３３および３４が直列接続されている。１Ｈ遅延回路は，１水平走査ラインの間，遅延して出力するものである。遅延装置３０からは，遅延していないシリアルなＲＧＢ画像データ，１Ｈ（１Ｈは１水平走査期間）遅延したシリアルなＲＧＢ画像データ，２Ｈ遅延したシリアルなＲＧＢ画像データ，３Ｈ遅延したシリアルなＲＧＢ画像データ４Ｈ遅延したシリアルなＲＧＢ画像データが出力される。したがって，遅延回路３０からは，５ライン分のシリアルなＲＧＢ画像データが出力されることとなる。遅延回路３０から出力した５ライン分のシリアルなＲＧＢ画像データは，適応型補間フィルタ処理回路６０および方向評価値算出回路４０に入力する。
【００８６】
方向評価値算出回路４０に入力した５ライン分のシリアルなＲＧＢ画像データは，加算器４１に入力する。加算器４１において加算処理が行われることにより，上述したように，フォトダイオード群Ｓ１からＳ１２ごとの加算データＳ１からＳ１２が得られる。
【００８７】
加算データＳ１，Ｓ２およびＳ３は，右斜め評価値算出回路４２に入力する。右斜め評価値算出回路４２において右斜め方向評価値Ｖｒが算出される。加算データＳ４，Ｓ５およびＳ６は，左斜め評価値算出回路４３に入力する。左斜め方向評価値算出回路４３において左斜め方向評価値Ｖｌが算出される。上部フォトダイオード群Ｓ７および下部フォトダイオード群Ｓ８を構成するフォトダイオードにもとづいて得られる画像データ（着目画素がＢ２，２であれば，フォトダイオードＢ２，０，Ｂ２，２およびＢ２，４にもとづいて得られる画像データ）が，垂直方向評価値算出回路４４に入力する。垂直方向評価値算出回路４４において垂直方向評価値Ｖｖが算出される。加算データＳ９，Ｓ１０，Ｓ１１およびＳ１２は，水平評価値算出回路４５に入力する。水平評価値算出回路４５において水平方向評価値Ｖｈが算出される。
【００８８】
方向評価値算出回路４０において算出された評価値を表すデータは，判別回路５０に入力する。判別回路５０には，しきい値ＴＨを示すデータが与えられている第１の比較器５１，第２の比較器５２，第３の比較器５３および第４の比較器５４が含まれている。
【００８９】
第１の比較器５１に，右斜め評価値Ｖｒを表すデータおよび左斜め評価値Ｖｌを表すデータが入力し，右斜め評価値Ｖｒから左斜め評価値Ｖｌを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ７の処理）。
【００９０】
第２の比較器５２にも，右斜め評価値Ｖｒを表すデータおよび左斜め評価値Ｖｌを表すデータが入力し，左斜め評価値Ｖｌから右斜め評価値Ｖｒを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ８の処理）。
【００９１】
第３の比較器５３および第４の比較器５４には，垂直方向評価値Ｖｖを表すデータおよび水平方向評価値Ｖｈを表すデータが入力する。第３の比較器５３において，垂直方向評価値Ｖｖから水平方向評価値Ｖｈを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ３の処理）。また，第４の比較器５４において水平方向評価値Ｖｈから垂直方向評価値Ｖｖを減算する処理が行われ，減算値としきい値ＴＨとの比較処理が行われる（図６ステップ４の処理）。
【００９２】
第１の比較器５１から第４の比較器５４の比較結果を表すデータが比較器５５に入力する。比較器５５において，入力した比較結果を表すデータが比較され，判別結果を示すデータが生成される。生成された判別結果データは，適応型補間フィルタ処理回路６０に与えられる。比較器５５においては，図６ステップ３，５，７および９に示す処理と同様の優先順位で次のように処理が行われる。
【００９３】
すなわち，垂直方向評価値Ｖｖから水平方向評価値Ｖｈを減算した第１の値がしきい値ＴＨより大きければ水平補間フィルタを使用して補間が行われるように判別結果データが生成される。第１の値がしきい値以下であった場合に，水平方向評価値Ｖｈから垂直方向評価値Ｖｖを減算した第２の値がしきい値ＴＨより大きければ垂直補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値および第２の値のいずれもしきい値ＴＨ以下であった場合に，右斜め評価値Ｖｒから左斜め評価値Ｖｌを減算した第３の値がしきい値ＴＨより大きければ右斜め補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値，第２の値および第３の値のいずれもがしきい値ＴＨ以下であった場合に，左斜め評価値Ｖｌから右斜め評価値Ｖｒを減算した第４の値がしきい値ＴＨより大きければ左斜め補間フィルタを用いて補間が行われるように判別結果データが生成される。第１の値，第２の値，第３の値および第４の値のいずれもがしきい値ＴＨ以下であった場合には，補間処理を行うことなく，その着目画素を表す画像データを出力するように判別結果データが生成される。
【００９４】
適応型補間フィルタ処理回路６０には，上述した式１５から式２６に対応したフィルタが含まれている（必要ならば式２７に対応したフィルタも含まれている）。判別回路５０から与えられる判別結果データにもとづいて，対応するフィルタを用いて補間処理が行われる（または補間処理を行うことなく着目画素を表す画像データを出力する処理が行われる）。適応型補間フィルタ６０から補間処理されたパラレルのＲＧＢ画像データが出力され，上述のようにＲＧＢ／ＹＣ変換回路２６に与えられる。
【図面の簡単な説明】
【図１】ＣＣＤの受光面の一部を示している。
【図２】右斜め方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図３】左斜め方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図４】垂直方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図５】水平方向評価値を算出するときのフォトダイオードの組み合わせを示している。
【図６】画素補間処理を示すフローチャートである。
【図７】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図８】ＲＧＢ補間回路の電気的構成を示すブロック図である。
【符号の説明】
２５  ＲＧＢ補間回路
３０  遅延回路
４０  方向評価値算出回路
５０  判別回路
６０  適応型補間フィルタ処理回路
ＰＤ  フォトダイオード
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ１０，Ｓ１１，Ｓ１２
フォトダイオード群
【図１】
2004364201.tif 000003
【図２】
2004364201.tif 000004
【図３】
2004364201.tif 000005
【図４】
2004364201.tif 000006
【図５】
2004364201.tif 000007
【図６】
2004364201.tif 000008
【図７】
2004364201.tif 000009
【図８】
2004364201.tif 000010