(57)【要約】【課題】  偽色の発生や、当該偽色に起因する白抜けや黒ずみといった画質の劣化を抑制することができる色信号生成装置を得る。【解決手段】  注目画素近傍に設けられた画素に対応する色成分値であって、当該注目画素に対応する色と同一の色に対応する色成分値と、前記注目画素近傍に設けられた画素に対応する色成分値であって、前記注目画素に対応する色と異なる色に対応する色成分値とに基づいて、前記注目画素に対応する色と異なる色に対応する第１の色成分値を演算する。  また、前記注目画素近傍に設けられた画素に対応する色成分値であって、前記注目画素に対応する色と異なる色に対応する色成分値に基づいて、前記異なる色に対応する第２の色成分値を演算する。  そして、前記第１の色成分値または前記第２の色成分値のいずれかの色成分値を、当該注目画素に対応する色と異なる色に対応する色成分値として選択する。【選択図】        図１
2006025119.tif 000002
【特許請求の範囲】
【請求項１】
複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する色成分値を演算する色成分演算装置であって、
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記１の色に対応する色成分値および前記異なる色に対応する色成分値とに基づいて第１の色成分値を演算する第１の色成分値演算手段と、
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記異なる色に対応する色成分値に基づいて第２の色成分値を演算する第２の色成分値演算手段と、
前記第１の色成分値または前記第２の色成分値のいずれかの色成分値を、前記１の画素に対する、前記異なる色に対応する色成分値として選択する選択手段とを備える色成分演算装置。
【請求項２】
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記１の色に対応する色成分値または前記異なる色に対応する色成分値に基づいて、前記選択手段における色成分値の選択に使用する判別値を演算する判別値演算手段をさらに備え、
前記選択手段は、前記判別値に基づいて、前記第１の色成分値または前記第２の色成分値のいずれかの色成分値を選択するように構成されてなる請求項１に記載の色成分演算装置。
【請求項３】
選択手段は、
前記判別値が予め定めるしきい値よりも小さい場合に、前記第２の色成分値を選択するように構成されてなる請求項２に記載の色成分演算装置。
【請求項４】
前記判別値演算手段は、
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記１の色に対応する色成分値に基づいて、前記１の画素近傍における当該１の色に対応する色成分値の変動に対応する第１の判別値を演算し、
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記異なる色に対応する色成分値に基づいて、前記１の画素近傍における当該他の色に対応する色成分値の変動に対応する第２の判別値を演算し、
前記選択手段は、前記第１の判別値または前記第２の判別値に基づいて、前記第１の色成分値または前記第２の色成分値のいずれかの色成分値を選択するように構成されてなる請求項２または３に記載の色成分演算装置。
【請求項５】
選択手段は、
前記第２の判別値が予め定める第１のしきい値よりも小さい場合、または、前記第１の判別値を前記第２の判別値で除算した値が予め定める第２のしきい値よりも大きく、かつ、前記第２の判別値が予め定める第３のしきい値よりも小さい場合のいずれかの場合に前記第２の色成分値を選択するように構成されてなる請求項４に記載の色成分演算装置。
【請求項６】
選択手段は、
前記第２の判別値が予め定める第１のしきい値よりも小さい場合、または、前記第２の判別値を前記第１の判別値で除算した値が予め定める第２のしきい値よりも小さく、かつ、前記第２の判別値が予め定める第３のしきい値よりも小さい場合のいずれかの場合に前記第２の色成分値を選択するように構成されてなる請求項４に記載の色成分演算装置。
【請求項７】
前記１の画素近傍に配置された画素に対応する色成分値の相関が強い方向を判定する相関方向判定手段をさらに備え、
前記第１の色成分値演算手段および前記第２の色成分値演算手段は、前記相関方向判定手段における判定の結果に基づいて、第１の色成分値または第２の色成分値を演算するように構成されてなる請求項１〜６のいずれかに記載の色成分演算装置。
【請求項８】
前記１の画素近傍に配置された画素に対応する色成分値の相関が強い方向を判定する相関方向判定手段をさらに備え、
前記判別値演算手段は、前記相関方向判定手段における判定に基づいて判別値を演算し、
前記第１の色成分値演算手段および前記第２の色成分値演算手段は、前記相関方向判定手段における判定の結果に基づいて、第１の色成分値または第２の色成分値を演算するように構成されてなる請求項２〜６のいずれかに記載の色成分演算装置。
【請求項９】
請求項１ないし８のいずれかに記載の色成分演算装置を備える撮像装置。
【請求項１０】
複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する色成分値を演算する色成分演算方法であって、
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記１の色に対応する色成分値と前記異なる色に対応する色成分値とに基づいて第１の色成分値を演算し、
前記１の画素近傍に配置された画素に対応する色成分値のうち、前記異なる色に対応する色成分値に基づいて第２の色成分値を演算し、
前記第１の色成分値または前記第２の色成分値のいずれかの色成分値を、前記１の画素に対する、前記異なる色に対応する色成分値として選択することを含む色成分演算方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色成分演算装置等に関し、特に、複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する色成分値を演算する色成分演算装置に関する。
【背景技術】
【０００２】
従来の色成分演算装置は、各色に対応する色成分値の局所的な分布に基づいて各画素に対応する色成分値を平均値で置き換え、当該平均値に基づいて想定される、１の色に対応する幾何学図形と前記未知の色に対応する幾何学図形との相似比に基づいて、当該未知の色に対応する色成分値を演算する。
【０００３】
【特許文献１】特開２００１−１９７５１２号公報（第８頁右欄第２行目〜第３０行目、第７図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の色成分演算装置は、以下のような前提のもとで、前記１つの画素（以下、注目画素ともいう。）に対応する色と異なる色、すなわち、当該注目画素において未知の色（以下、未知色ともいう。）に対応する色成分値（以下、未知成分値ともいう。）の演算を行なっている。すなわち、ある画像の局所的な領域においては、前記注目画素近傍に配置された画素であって、当該注目画素において既知の色（以下、既知色ともいい、当該既知色に対応する色成分値を既知成分値ともいう。）と同一の色を既知色とする画素の色成分値の変動（以下、既知成分値の変動ともいう。）と、前記注目画素近傍に配置された画素であって、前記未知色と同一の色を既知色とする画素の色成分値の変動（以下、未知成分値の変動ともいう。）との相関が常に強いことを前提として前記演算を行なっている。なお、前記注目画素近傍とは、当該注目画素から所定の距離以内に配置された画素を含む領域内をいう。また、前記所定の距離は、任意に設定される。
【０００５】
しかしながら、例えば、ある画像において、緑色（Ｇ色）の部分では当該Ｇ色に対応する色成分値（以下、Ｇ成分値ともいう。）が高く、赤色（Ｒ色）に対応する色成分値（以下、Ｒ成分値ともいう。）および青色（Ｂ色）に対応する色成分値（以下、Ｂ成分値ともいう。）が低い一方、黄色の部分ではＧ成分値およびＲ成分値が高く、Ｂ成分値が低い。
【０００６】
したがって、前記画像において緑色から黄色へと変化する部分（特に色の境界（エッジ）部分）においては、Ｒ成分値の変動は大きいものの、Ｇ成分値の変動およびＢ成分値の変動は非常に小さい。すなわち、上述の例の場合には、Ｒ成分値の変動とＧ成分値の変動との相関が低い。よって、従来の色成分演算装置における前提が成立しない。
【０００７】
したがって、上述の例のような場合に、従来の色成分演算装置によって、未知成分値の演算を行なうと、前記未知成分値の変動が小さいにも関わらず既知成分値の変動に従って前記未知成分値の演算を行なってしまうため、本来の画像（例えば、撮像装置等による撮影の対象となる風景等）に含まれない色（以下、偽色ともいう。）が発生してしまう。そして、当該偽色に起因して白抜けや黒ずみが発生することにより当該画像の画質が劣化してしまう場合もある。
【０００８】
そこで本発明は、注目画素近傍における、既知成分値の変動と未知成分値の変動との相関に応じて、当該未知成分値を演算することで、偽色の発生や、当該偽色に起因する白抜けや黒ずみといった画質の劣化を抑制することができる色成分演算装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る色成分演算装置は、複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する色成分値を演算する色成分演算装置であって、前記１の画素近傍に配置された画素に対応する色成分値のうち、前記１の色に対応する色成分値および前記異なる色に対応する色成分値とに基づいて第１の色成分値を演算する第１の色成分値演算手段と、前記１の画素近傍に配置された画素に対応する色成分値のうち、前記異なる色に対応する色成分値に基づいて第２の色成分値を演算する第２の色成分値演算手段と、前記第１の色成分値または前記第２の色成分値のいずれかの色成分値を、前記１の画素に対する、前記異なる色に対応する色成分値として選択する選択手段とを備える。
【発明の効果】
【００１０】
本発明に係る色成分演算装置によれば、偽色の発生や、当該偽色に起因する白抜けや黒ずみといった画質の劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、実施の形態１における色成分演算装置１００を適用した撮像装置の構成を示すブロック図である。レンズ１に入射した光は、当該レンズ１によって集光され、二次元撮像素子２の受光面（図示せず）によって受光される。
【００１２】
二次元撮像素子２は、二次元に配列された複数の光電変換素子（図示せず）を前記受光面上に有して構成される。そして、当該複数の光電変換素子は、例えば、図２に示すようなベイヤ（Ｂａｙｅｒ）型に配置された、Ｒ色、Ｇ色、Ｂ色の３原色に対応する分光感度特性を有する色フィルタで覆われる。なお、図２中のＲ、Ｇ、ＢはそれぞれＲ色、Ｇ色、Ｂ色を示し、また、受光面上における各光電変換素子の位置は、当該撮像装置によって得られた画像を構成する各画素の位置に対応する。よって、以下の説明においては、Ｒ色の色フィルタで覆われた光電変換素子に対応する画素をＲ画素、Ｇ色の色フィルタで覆われた光電変換素子に対応する画素をＧ画素、Ｂ色の色フィルタで覆われた光電変換素子に対応する画素をＢ画素という。
【００１３】
前記光電変換素子は、前記レンズ１によって集光された光に基づいて光電変換を行なって、前記３原色のいずれか１色に対応し、当該光の光量に応じた色成分値を有するアナログ信号を出力する。そして、当該二次元撮像素子２は、当該光電変換素子に対応する画素ごとに、各光電変換素子から出力されたアナログ信号を後段のＡ／Ｄ変換器３へと出力する。
【００１４】
Ａ／Ｄ変換器３は、二次元撮像素子２から出力された前記アナログ信号をデジタル信号に変換してフレームメモリ４に出力する。フレームメモリ４は、前記光電変換素子の前記受光面上での位置、すなわち、前記図２のＨ−Ｖ平面上における前記光電変換素子の位置に対応付けて、前記Ａ／Ｄ変換器３から出力されたデジタル信号に対応する色成分値を記憶する。なお、図２におけるＨ軸方向は当該撮像装置によって得られる画像における水平方向に対応し、Ｖ軸方向は前記画像における垂直方向に対応する。
【００１５】
ここで、上述のような色フィルタを使用した場合、各画素に対応する光電変換素子からは、Ｒ成分値、Ｇ成分値、またはＢ成分値のいずれか１つの色成分値に対応するアナログ信号しか出力されない。よって、フレームメモリ４に記憶される色成分値も、Ｒ成分値、Ｇ成分値、またはＢ成分値のいずれか１つの色成分値である。したがって、当該色フィルタを使用した場合、当該フレームメモリ４において各画素に対応付けて記憶される色成分値は１つのみである。そのため、前記画像を再現するためには、各画素において未知の色に対応する色成分値（未知成分値）を演算する必要がある。
【００１６】
そこで、実施の形態１における色成分演算装置１００は、前記画像を構成する複数の画素のうち、１つの画素（注目画素）、および当該注目画近傍に配置された他の画素に対応する既知成分値に基づいて、当該注目画素に対して未知成分値の演算を行なう。以下、具体的に説明する。
【００１７】
判別値演算手段５は、後述する選択手段６において、注目画素近傍における、前記既知成分値の変動と前記未知成分値の変動との相関を判別する際に使用する判別値を演算する。
【００１８】
具体的に説明すると、判別値演算手段５は、フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における未知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。また、当該判別値演算手段５は、フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における既知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、フレームメモリ４から読み出した色成分値に基づいて判別値を演算して、当該判別値に対応する信号を選択手段６に出力する。
【００１９】
選択手段８は、前記判別値演算手段７において演算された判別値および所定の条件に基づいて、前記既知成分値の変動と前記未知成分値の変動との相関を判別し、当該注目画素に対応する未知成分値を演算する方法の選択を行なう。具体的には、第１の色成分値演算手段７（後述する）または第２の色成分値演算手段８（後述する）のいずれかを選択する。そして、選択した色成分値演算手段に対して、未知成分値の演算を行なう旨の信号を出力する。
【００２０】
前記選択手段６から出力された信号が第１の色成分値演算手段７に入力された場合、当該第１の色成分値演算手段７は、前記フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における既知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。さらに、第１の色成分値演算手段７は、前記フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における未知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、前記フレームメモリ４から読み出した色成分値に基づいて、当該注目画素に対する未知成分値を演算し、当該演算の結果得られた未知成分値に対応する信号をフレームメモリ４に出力する。なお、フレームメモリ４は、第１の色成分値演算手段７から出力された信号に対応する未知成分値を当該注目画素の位置に対応付けて記憶する。
【００２１】
一方、前記選択手段６から出力された信号が第２の色成分値演算手段８に入力された場合、当該第２の色成分値演算手段８は、前記フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における未知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、前記フレームメモリ４から読み出した色成分値に基づいて、当該注目画素に対する未知成分値を演算し、当該演算の結果得られた未知成分値に対応する信号をフレームメモリ４に出力する。なお、フレームメモリ４は、第２の色成分値演算手段８から出力された信号に対応する未知成分値を当該注目画素に対応付けて記憶する。
【００２２】
制御手段９は、各画素に対する未知成分値の演算が終了し、当該未知成分値がフレームメモリ４に全て記憶された後、ＲＧＢ信号出力手段１０に対して、フレームメモリ４に記憶された色成分値を読み出す旨の信号を出力する。そして、ＲＧＢ信号出力手段１０は、前記制御手段９の出力に応じて、フレームメモリ４から色成分値を読み出した後、当該色成分値に基づいてＲＧＢ信号を生成して、当該撮像装置が接続される機器に前記ＲＧＢ信号を出力する。なお、ＲＧＢ信号出力手段１０は、フレームメモリ４から読み出した各色成分値に対応する信号をまとめてＲＧＢ信号として出力してもよいし、Ｒ成分値、Ｇ成分値、またはＢ成分値の各色成分値に対応する信号をそれぞれ別個に出力してもよい。
【００２３】
図３は、前記第１の色成分値演算手段７の構成を示すブロック図である。図３において、第１の平均値演算手段７１は、前記フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における既知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、フレームメモリ４から読み出した色成分値の平均値を演算して信号生成手段７３に出力する。なお、以下の説明においては、当該第１の平均値演算手段７１において演算される平均値を第１の平均値という。
【００２４】
第２の平均値演算手段７２は、前記フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置された画素に対応する色成分値であって、当該注目画素における未知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、フレームメモリ４から読み出した色成分値の平均値を演算して信号生成手段７３に出力する。なお、以下の説明においては、当該第２の平均値演算手段７２において演算される平均値を第２の平均値という。
【００２５】
信号生成手段７３は、前記フレームメモリ４から注目画素に対応する既知成分値を読み出して、当該既知成分値、前記第１の平均値および第２の平均値に基づいて、当該注目画素に対応する未知成分値の演算を行なう。そして、当該演算の結果得られる当該未知成分値に対応する信号をフレームメモリ４に出力する。
【００２６】
図４は、フレームメモリ４に記憶された前記Ａ／Ｄ変換器３の出力を模式的に示した模式図である。なお、図４中のＶ軸およびＨ軸は、前記図２中のＶ軸およびＨ軸に対応する。また、図５は、前記判別値演算手段５の動作を説明するためのフローチャートであり、図６は、前記選択手段６の動作を説明するためのフローチャートである。
【００２７】
さらに、図７は、前記第１の色成分値演算手段７の動作を説明するためのフローチャートであり、図８は、前記第２の色成分値演算手段８の動作を説明するためのフローチャートである。以下、図４〜図８に基づいて、実施の形態１の色成分演算装置１００において、注目画素に対する未知成分値を演算する際における各構成要素の動作を説明する。
【００２８】
なお、図４における各ブロックは、当該撮像装置によって得られる画像を構成する各画素に対応する。また、当該ブロック中に記載されているアルファベット文字は、各画素に対応する前記光電変換素子から出力された色成分値に対応する色を示し、前記ブロック中におけるカッコ内の数字は、Ｈ−Ｖ平面上における当該ブロックの位置を示す。したがって、例えば、図４中のブロックＡは、Ｒ成分値を既知成分値として有し、Ｈ−Ｖ平面上の（Ｖ，Ｈ）＝（６，６）に位置する。
【００２９】
また、以下の説明においては、図４におけるＢ（３，３）に対応する画素を注目画素として、Ｇ成分値を演算する場合を最初に説明し、Ｒ成分値を演算する場合を次に説明する。
【００３０】
また、以下の説明においては、図４中のＨ軸方向に沿って並ぶ画素から構成される行を画素行といい、Ｖ軸方向に沿って並ぶ画素から構成される列を画素列ともいう。また、Ｈ軸方向を右方向といい、当該Ｈ軸方向と反対の方向を左方向ともいう。また、Ｖ軸方向を下方向、当該Ｖ軸方向と反対方向を上方向ともいう。
【００３１】
判別値演算手段５の動作について、前記図４および図５に基づいて説明する。判別値演算手段５は、フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置されたＧ画素に対応する色成分値（Ｇ成分値）をフレームメモリ４から読み出す。したがって、例えば、Ｂ（３，３）近傍に配置されたＧ画素であって、Ｂ（３，３）を中心として上下左右の方向に位置するＧ画素に対応する色成分値、すなわち、Ｇ（０，３）、Ｇ（２，３）、Ｇ（４，３）、Ｇ（６，３）、Ｇ（３，０）、Ｇ（３，２）、Ｇ（３，４）、Ｇ（３，６）に対応する色成分値を読み出す（ＳＴ５１）。
【００３２】
そして、フレームメモリ４から読み出したＧ成分値に基づいて、下記式（１）〜（４）に従って、判別値（ＤｉｆＧ１、ＤｉｆＧ２、ＤｉｆＧ３およびＤｉｆＧ４）を演算（ＳＴ５２）し、当該判別値に対応する信号を選択手段６に出力する。
【００３３】
ＤｉｆＧ１
＝｛｜Ｇ（０，３）−Ｇ（２，３）｜＋｜Ｇ（２，３）−Ｇ（４，３）｜｝／２
…（１）
ＤｉｆＧ２
＝｛｜Ｇ（２，３）−Ｇ（４，３）｜＋｜Ｇ（４，３）−Ｇ（６，３）｜｝／２
…（２）
ＤｉｆＧ３
＝｛｜Ｇ（３，０）−Ｇ（３，２）｜＋｜Ｇ（３，２）−Ｇ（３，４）｜｝／２
…（３）
ＤｉｆＧ４
＝｛｜Ｇ（３，２）−Ｇ（３，４）｜＋｜Ｇ（３，４）−Ｇ（３，６）｜｝／２
…（４）
【００３４】
なお、前記判別値のうち、ＤｉｆＧ１はＢ（３，３）の上方向におけるＧ成分値の変動（変化量）に対応する。また、ＤｉｆＧ２はＢ（３，３）の下方向におけるＧ成分値の変動、ＤｉｆＧ３はＢ（３，３）の左方向におけるＧ成分値の変動、ＤｉｆＧ４はＢ（３，３）の右方向におけるＧ成分値の変動にそれぞれ対応する。
【００３５】
また、判別値演算手段５は、フレームメモリ４に記憶された色成分値のうち、前記注目画素近傍に配置されたＢ画素に対応する色成分値（Ｂ成分値）をフレームメモリ４から読み出す。したがって、例えば、Ｂ（３，３）近傍に配置されたＢ画素であって、Ｂ（３，３）を中心として上下左右の方向に位置するＢ画素に対応する色成分値、すなわち、Ｂ（１，３）、Ｂ（４，３）、Ｂ（３，１）およびＢ（３，４）に対応する色成分値をフレームメモリ４から読み出す（ＳＴ５３）。また、注目画素Ｂ（３，３）に対応するＢ成分値をフレームメモリ４から読み出す。（ＳＴ５３）
【００３６】
そして、フレームメモリ４から読み出したＢ成分値に基づいて、下記式（５）および（６）に従って、判別値（ＤｉｆＢ１およびＤｉｆＢ２）を演算（ＳＴ５４）し、当該判別値に対応する信号を選択手段６に出力する。
【００３７】
ＤｉｆＢ１
＝｛｜Ｂ（１，３）−Ｂ（３，３）｜＋｜Ｂ（３，３）−Ｂ（５，３）｜｝／２
…（５）
【００３８】
ＤｉｆＢ２
＝｛｜Ｂ（３，１）−Ｂ（３，３）｜＋｜Ｂ（３，３）−Ｂ（３，５）｜｝／２
…（６）
【００３９】
なお、前記判別値のうち、ＤｉｆＢ１は図４中のＶ軸方向におけるＢ成分値の変動（変化量）に対応し、また、ＤｉｆＢ２は図４中のＨ軸方向におけるＢ成分値の変動に対応する。
【００４０】
選択手段２０は、前記判別値演算手段７から入力された信号に対応する判別値および所定の条件に基づいて、Ｇ成分値の演算を行なう色成分値演算手段を選択する。以下、前記図６に基づいて具体的に説明する。
【００４１】
選択手段２０は、前記判別値に基づいて、当該注目画素近傍におけるＢ成分値の変動と、Ｇ成分値の変動との相関を判別し、当該判別の結果に応じて色成分値演算手段を選択する。すなわち、注目画素近傍における、前記Ｂ成分値の変動（既知成分値の変動）と、前記Ｇ成分値の変動（未知成分値の変動）との相関が強い場合（特に、Ｇ成分値の変動およびＢ成分値の変動の双方が大きい場合）には、Ｂ成分値の変動に応じてＧ成分値の演算を行なうことが望ましい。したがって、前記相関が強いと判別された場合は、従来の色成分演算装置と同様にして未知成分値の演算を行なうために第１の色成分値演算手段７を選択する。
【００４２】
一方、Ｇ成分値の変動がＢ成分値の変動に比べて小さい場合に、第１の色成分値演算手段７によってＧ成分値の演算を行なうと、当該演算によって得られたＧ成分値と、当該注目画素近傍に配置された画素に対応するＧとの間に差が生じてしまう。そのため、白抜けや黒ずみ等の画質の劣化が生じてしまう。よって、前記相関が弱いと判別された場合は、Ｂ成分値の変動に応じてＧ成分値を演算しない第２の色成分値演算手段を選択する。
【００４３】
したがって、当該選択手段６には、例えば、下記条件１〜８に示すような条件を予め設定し、当該条件のいずれかを満たすか否かを判断し（ＳＴ６１）、条件１〜８のうち、少なくともいずれかの１つ条件を満たすと判断した場合（ＳＴ６１：Ｙ）には、Ｂ（３，３）に対応するＧ成分値を演算する旨の信号を第２の色成分値演算手段８に対して出力する（ＳＴ６２）。
【００４４】
条件１：ＤｉｆＧ１＜Ｔｈ１
条件２：ＤｉｆＧ２＜Ｔｈ１
条件３：ＤｉｆＧ３＜Ｔｈ１
条件４：ＤｉｆＧ４＜Ｔｈ１
条件５：ＤｉｆＢ１／ＤｉｆＧ１＞Ｔｈ２  かつ  ＤｉｆＧ１＜Ｔｈ３
条件６：ＤｉｆＢ１／ＤｉｆＧ２＞Ｔｈ２  かつ  ＤｉｆＧ２＜Ｔｈ３
条件７：ＤｉｆＢ２／ＤｉｆＧ３＞Ｔｈ２  かつ  ＤｉｆＧ３＜Ｔｈ３
条件８：ＤｉｆＢ２／ＤｉｆＧ４＞Ｔｈ２  かつ  ＤｉｆＧ４＜Ｔｈ３
（ただし、Ｔｈ３＞Ｔｈ１）
【００４５】
一方、当該選択手段８は、前記条件１〜８のうちのいずれの条件も満たさないと判断した場合（ＳＴ６１：Ｎ）には、Ｂ（３，３）に対応するＧ成分値を演算する旨の信号を第１の色成分値演算手段７に対して出力する（ＳＴ６３）。
【００４６】
なお、前記条件１〜８において、Ｔｈ１は第１のしきい値、Ｔｈ２は第２のしきい値、Ｔｈ３は第３のしきい値である。また、第１〜第３のしきい値は、当該色成分演算装置１００を適用するシステムや装置等の仕様に応じてそれぞれ適宜設定する。ただし、第１のしきい値と第３のしきい値とはＴｈ３＞Ｔｈ１の関係を満たすように設定する。
【００４７】
また、前記条件５〜８において使用する判別値の比（判別値ＤｉｆＢ１，Ｂ２と判別値ＤｉｆＧ１〜４との比）は、前記判別値演算手段５において演算し、当該演算の結果に対応する信号を当該選択手段８に出力させてもよいし、前記判別値演算手段５において演算せずに当該選択手段８において演算するようにしてもよい。
【００４８】
なお、上述のように、前記判別値は、前記図４の上下左右方向における、Ｇ成分値の変化量またはＢ成分値の変化量に対応する。したがって、前記判別値ＤｉｆＧ１〜４と、第１のしきい値Ｔｈ１または第３のしきい値Ｔｈ３との比較は、当該Ｂ（３，３）に対応する画素周辺に配置された画素に対応するＧ成分値の変動が小さいか否かを判断していることと同様である。また、判別値ＤｉｆＢ１，Ｂ２と判別値ＤｉｆＧ１〜４との比と、第２のしきい値Ｔｈ２との比較は、当該Ｂ（３，３）に対応する画素周辺に配置された画素に対応するＢ成分値の変動がＧ成分値の変動に比べて大きいか否かを判断していることと同様である。したがって、前記条件１〜８のように条件を設定することによって、当該選択手段６において、Ｂ成分値の変動とＧ成分値の変動との相関を判別することが可能となる。
【００４９】
なお、上述のような条件を設定するのは、以下の理由による。図９は、前記条件を設定する理由を説明するための説明図である。なお、以下の説明においては、説明の便宜上、上述したＢ（３，３）を含む画素列におけるＧ（０，３）、Ｇ（２，３）、Ｇ（４，３）、Ｇ（６，３）、Ｂ（１，３）、Ｂ（３，３）、Ｂ（５，３）を対象として説明する。また、図９において、横軸は各画素の画素列上における位置である。したがって、例えば、Ｇ０は上記Ｇ（０，３）に対応し、Ｂ３は上記Ｂ（３，３）に対応する。また、縦軸は色成分値である。
【００５０】
図９（ａ）は前記条件１〜４について説明するための説明図である。図９（ａ）において、○印はＧ成分値、●印はＢ成分値、△印は第１の色成分値演算手段７によって演算を行なった場合に得られるＧ成分値、＊印は第２の色成分値演算手段５によって演算した場合に得られるＧ成分値を示す。また、図９（ａ）において各印の上に付した数値は各画素に対応する色成分値を示す。なお、＊印に対応する色成分値については当該＊印の下に付した。また、以下の説明では、Ｇ成分値の変動を示す曲線をＧ成分値曲線といい、Ｂ成分値の変動を示す曲線をＢ成分値曲線という。
【００５１】
図９（ａ）の場合、Ｇ成分値の変動（未知成分値の変動）がＢ成分値の変動（既知成分値の変動）に比べて非常に小さい。したがって、Ｂ成分値の変動にあわせてＧ成分値の演算を行なうと、当該Ｇ成分値が当該注目画素周辺のＧ画素に対応する色成分値よりも高くなってしまう（図９（ａ）中の△印）。そうすると、当該注目画素部分に偽色が発生し、白抜けが起こってしまう可能性がある。一方、図９（ａ）の場合において、第２の色成分値演算手段８によってＧ成分値の演算を行なった場合には、当該図９（ａ）における＊印のように、当該Ｇ成分値が当該注目画素周辺のＧ画素に対応する色成分値よりも高くなることはなく、白抜け等の画質の劣化を防止することができる。したがって、当該図９（ａ）のように未知成分値の変動が小さい場合において、確実に第２の色成分値演算手段８によって色成分値を行なうことができるように前記第１のしきい値Ｔｈ１を設定する。
【００５２】
図９（ｂ）は前記条件５〜８について説明するための説明図である。以下、図９（ｂ）中に◆印で示したＢ成分値の場合、黒の四角（□を黒で塗りつぶしたもの）印で示したＢ成分値の場合、黒の三角（△を黒で塗りつぶしたもの）印で示したＢ成分値の場合の３つの場合を例に説明する。なお、図９（ｂ）において、○印はＧ成分値である。また、以下の説明においては、◆印を結んだ曲線を第１のＢ成分値曲線、黒の四角（□を黒で塗りつぶしたもの）印を結んだ曲線を第２のＢ成分値曲線、黒の三角（△を黒で塗りつぶしたもの）印を結んだ曲線を第３のＢ成分値曲線という。
【００５３】
また、◇印は第１のＢ成分値曲線の場合に第１の色成分値演算手段７によって演算して（具体的には、後述する式（９）によって演算して）得られるＧ成分値、□印は第３のＢ成分値曲線の場合に第１の色成分値演算手段７によって得られるＧ成分値を示す。また、図９（ｂ）において各印の右に付した数値は各画素に対応する色成分値を示す。なお、◇印に対応する色成分値については当該◇印の下に付した。また、第２のＢ成分値曲線の場合に第１の色成分値演算手段７によって得られるＧ成分値については図示していないが、前記式（９）によって演算すると、当該第２のＢ成分値曲線の場合に対応するＧ成分値の値は３０となる。
【００５４】
図９（ｂ）の場合、前記図９（ａ）よりもＧ成分値の変動は大きくなり、前記条件１〜４を満たさない。ここで、前記３つの場合において、第１の色成分値演算手段７によってＧ成分値の演算を行なった結果について検討する。第１のＢ成分値曲線の場合に、第１の色成分値演算手段７によってＧ成分値の演算を行なうと、図９（ｂ）中の◇印に示すように、当該Ｇ成分値は２５となり、Ｇ成分値曲線に合致する。また、第２のＢ成分値曲線の場合に、第１の色成分値演算手段７によってＧ成分値の演算を行なうと、当該Ｇ成分値は３０となり（図示せず）、Ｇ成分値曲線から若干外れる。さらに、第３のＢ成分値曲線の場合に、第１の色成分値演算手段７によってＧ成分値の演算を行なうと、図９（ｂ）中の□印に示すように、当該Ｇ成分値は４０となり、Ｇ成分値曲線から大きく外れた値となる。一方、第２の色成分値演算手段８においては、Ｇ成分値の値としてＧ２に対応する色成分値とＧ４に対応する色成分値との平均値を演算することから、当該Ｇ成分値の値は２０となる。
【００５５】
そして、上述した第１の色成分値演算手段７における演算結果と第２の色成分値演算手段８における演算結果とを比較すると、第２のＢ成分値曲線に対応するＧ成分値の値（３０）と、Ｇ成分値曲線に合致する値（２５）との差は５であり、一方、第２の色成分値演算手段８において得られるＧ成分値（２０）と、Ｇ成分値曲線に合致する値（２５）との差も５である。すなわち、第２のＢ成分値曲線の場合には、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれによって未知成分値の演算を行なってもＧ成分値に合致する値との差は変わらない。
【００５６】
しかしながら、第３のＢ成分値曲線に対応するＧ成分値の値（４０）と、Ｇ成分値曲線に合致する値（２５）との差は１５であり、第２の色成分値演算手段８において得られるＧ成分値と、Ｇ成分値曲線に合致する値との差よりも非常に大きな差となる。そうすると、このような場合には、第２の色成分値演算手段８によって色成分値の演算を行なって得られる色成分値を使用した方がよい。
【００５７】
すなわち、図９のように、Ｇ成分値の変動が大きく、前記条件１〜４を満たさない場合においても、第２の色成分値演算手段８によって未知成分値の演算を行なったほうがよい場合がある。したがって、上述のような場合に、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれの色成分値演算手段によって演算をしたほうがよいかを判断する必要がある。
【００５８】
ここで、前記第１〜第３のＢ成分値曲線の各々に対応する判別値ＤｉｆＢと、図９の場合におけるＧ成分値の変動に対応する判別値ＤｉｆＧとの比（すなわち、ＤｉｆＢ／ＤｉｆＧ）について前記式（１）〜（６）によって演算を行なうと、第３のＢ成分値曲線に対応する判別値の比は、第２のＢ成分値曲線に対応する判別値の比よりも大きな値となる。
【００５９】
したがって、前記Ｇ成分値の変動が大きく、前記条件１〜４を満たさない場合において、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれの色成分値演算手段によって未知成分値を演算した方がよいかについての判断は、前記比に基づいて行なうことができる。そこで、上記条件５〜８のように前記比を用いた条件を設定する。そして、当該色成分演算装置１００を適用する装置やシステムに応じて、前記第２のＢ成分値曲線のような場合と前記第３のＢ成分値曲線のような場合とを適切に区別できるように第２のしきい値を設定する。また、第３のしきい値は、前記条件１〜４を満たさない場合において、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれの色成分値演算手段によって演算した方がよいかを判断する必要がある場合を適切に判断できるように設定する。
【００６０】
図９（ｃ）は、前記第３のしきい値について、より具体的に説明するための説明図である。なお、図９（ｃ）中の記号等については前記図９（ａ）と同様であるので説明を省略する。図９（ｃ）のように、Ｇ成分値の変動が大きい場合には、第１の色成分値演算手段７により、Ｂ成分値の変動に従ってＧ成分値の演算を行なう方がよい。現に、図９（ｃ）においては、第１の色成分値演算手段７の出力（△印）の方が第２の色成分値演算手段８の出力（＊印）よりもＧ成分値曲線に合致する。よって、図９（ｃ）のような場合に第２の色成分値演算手段８の出力を使用すると、当該第２の色成分値演算手段８における演算によって得られるＧ成分値が、図９（ｃ）中の＊印のようにＧ成分値曲線の下方に位置してしまうため黒ずみの原因となる。したがって、前記第３のしきい値Ｔｈ３は、当該色成分演算装置１００を適用する装置やシステムに応じて、前記図９（ｂ）の場合と当該図９（ｃ）の場合とを適切に区別することができる値に設定する。
【００６１】
なお、図１０（ａ）、（ｂ）のようにＢ成分値の変動が小さい場合には、△印および＊印で示すように、第１の色成分値演算手段７によってＧ成分値の演算を行なっても、第２の色成分値演算手段８によってＧ成分値の演算を行なってもＧ成分値はほとんど変わらない。これは、後述する第１の色成分値演算手段での演算において（具体的には後述する式（９））、Ｂ成分値の変動が小さいことにより、当該注目画素近傍に配置されたＢ成分値の影響が小さくなることに起因する。したがって、図１０のような場合には、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれを選択してもよい。
【００６２】
なお、図１０のような場合に、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれか一方を選択するようにする場合、例えば、第１の色成分値演算手段７を選択する場合には、下記条件９〜１２を設定し、当該条件９〜１２のいずれかを満たす場合に第１の色成分値演算手段７を選択するようにすればよい。
【００６３】
条件  ９：ＤｉｆＢ１＞Ｔｈ４
条件１０：ＤｉｆＢ２＞Ｔｈ４
条件１１：ＤｉｆＢ３＞Ｔｈ４
条件１２：ＤｉｆＢ４＞Ｔｈ４
【００６４】
前記選択手段６から出力された信号が第１の色成分値演算手段７に入力された場合、当該第１の色成分値演算手段７はＧ成分値の演算を行なう。以下、図７に基づいて、第１の色成分値演算手段７の動作について説明する。前記第１の平均値演算手段７１は、注目画素近傍に配置されたＢ画素に対応する色成分値をフレームメモリ４から読み出す（ＳＴ７１）。したがって、例えば、図４のＨ−Ｖ平面においてＢ（１，３）、Ｂ（３，１）、Ｂ（３，５）およびＢ（５，３）に対応するＢ成分値をフレームメモリ４から読み出す。
【００６５】
第１の平均値演算手段７１は、下記式（７）にしたがって、フレームメモリ４から読み出したＢ成分値の平均値Ｂａｖｅを演算（ＳＴ７２）して、当該平均値Ｂａｖｅに対応する信号を信号生成手段７３に出力する。なお、下記式（７）中のＳＢ（Ｈ，Ｖ）は前記Ｈ−Ｖ平面上の位置（Ｖ，Ｈ）に対応する各画素の色成分値を示す。したがって、例えば、ＳＢ（１，３）は、Ｈ−Ｖ平面のＢ（１，３）に対応する色成分値を示す。
【００６６】
Ｂａｖｅ
＝｛ＳＢ（１，３）＋ＳＢ（３，１）＋ＳＢ（３，５）＋ＳＢ（５，３）｝／４
…（７）
【００６７】
一方、第２の平均値演算手段７２は、注目画素近傍に配置されたＧ画素に対応する色成分値をフレームメモリ４から読み出す（ＳＴ７３）。したがって、例えば、図４のＨ−Ｖ平面においてＧ（２，３）、Ｇ（３，２）、Ｇ（３，４）およびＧ（４，３）に対応する色成分値をフレームメモリ４から読み出す。
【００６８】
なお、当該第２の平均値演算手段７２による色成分値の選択は、選択されたＧ成分値に対応するＧ画素を結んで形成される幾何学図形と、前記第１の平均値演算手段において選択されたＢ成分値に対応するＢ画素を結んで形成される幾何学図形とが、相似比ｆの相似の関係となるように行なう。
【００６９】
したがって、実施の形態１においては、前記第１の平均値演算手段７１において選択されたＢ画素を結んで形成される幾何学図形が図４中のｑ１のような四角形（ひし形）であるため、第２の平均値演算手段８においては、当該Ｇ画素を結んで形成される幾何学図形が図４中のｑ２のような四角形（ひし形）となるようにＧ画素が選択される。そして、実施の形態１の場合、前記相似比はｆ＝１／２となる。
【００７０】
第２の平均値演算手段７２は、下記式（８）にしたがって、フレームメモリ４から読み出したＧ成分値の平均値Ｇａｖｅを演算（ＳＴ７４）して、当該平均値Ｇａｖｅに対応する信号を信号生成手段７３に出力する。また、相似比ｆに対応する信号も信号生成手段７３に出力する。なお、下記式（８）中のＳＧ（Ｈ，Ｖ）は前記Ｈ−Ｖ平面上の位置（Ｈ，Ｖ）の各画素に対応するＧ成分値を示す。したがって、ＳＧ（２，３）は、Ｈ−Ｖ平面のＧ（２，３）に対応するＧ成分値を示す。
【００７１】
Ｇａｖｅ
＝｛ＳＧ（２，３）＋ＳＧ（３，２）＋ＳＧ（３，４）＋ＳＧ（４，３）｝／４
…（８）
【００７２】
信号生成手段７３は、注目画素に対応するＢ成分値から前記第１の平均値Ｂａｖｅを減算した結果（ｄＢ）に前記相似比ｆを乗じた値（ｄＧ）に、前記第２の平均値Ｇａｖｅを加算することで、前記注目画素に対応する未知成分値、すなわち、Ｇ成分値Ｓｇを演算する。すなわち、下記式（９）にしたがってＧ成分値Ｓｇ（３，３）を演算して出力する（ＳＴ７５）。そして、下記式（９）にしたがって得られたＧ成分値Ｓｇ（３，３）に対応する信号をフレームメモリ４に出力する。
【００７３】
Ｓｇ（３，３）＝ｄＧ＋Ｇａｖｅ
＝ｄＢ×ｆ＋Ｇａｖｅ
＝｛ＳＢ（３，３）−Ｂａｖｅ｝×（１／２）＋Ｇａｖｅ
…（９）
【００７４】
一方、前記選択手段６から出力された信号が第２の色成分値演算手段８に入力された場合、当該第２の色成分値演算手段８はＧ成分値の演算を行なう。以下、図８に基づいて、第２の色成分値演算手段８の動作について説明する。当該第２の色成分値演算手段８は、前記注目近傍のＧ画素に対応する色成分値をフレームメモリ４から読み出す（ＳＴ８１）。したがって、例えば、図４のＨ−Ｖ平面においてＧ（２，３）、Ｇ（３，２）、Ｇ（３，４）およびＧ（４，３）に対応する色成分値をフレームメモリ４から読み出す。
【００７５】
第２の色成分値演算手段８は、前記式（８）と同様の演算を行なって、フレームメモリ４から読み出したＧ成分値の平均値Ｇａｖｅを演算する（ＳＴ８２）。そして、当該平均値Ｇａｖｅを当該注目画素に対応するＧ成分値Ｓｇ（３，３）として、当該Ｓｇ（３，３）に対応する信号をフレームメモリ４に出力する（ＳＴ８３）。
【００７６】
当該色成分演算装置１００は、以上に説明した演算および処理を、各Ｂ画素について行なうことにより、全てのＢ画素に対してＧ成分値の演算を行なう。
【００７７】
次に、当該注目画素（Ｂ（３，３））に対してＲ成分値の演算を行なう場合について説明する。Ｂ色に対応する注目画素に対して、Ｒ成分値を演算する場合、前記第１の色成分値演算手段７または第２の色成分値演算手段８は、例えば図１１に示すように、当該注目画素近傍に配置されたＲ画素に対応する色成分値をフレームメモリ４から読み出す。図１１において、（ａ）は図１１中のＤ１方向において相似比ｆ＝２としてＢ成分値およびＲ成分値を選択する場合、（ｂ）は図１１中のＤ２軸方向において相似比ｆ＝２としてＢ成分値およびＲ成分値を選択する場合、（ｃ）は相似比ｆ＝２とし、当該注目画素を中心とする正方形上に配置された画素に対応するＢ成分値およびＲ成分値を選択する場合を示す。すなわち、当該注目画素に対するＲ成分値の演算を行なう場合には、図１１中のＨ方向またはＶ方向の両方向に対して４５度方向に配置された画素に対応する色成分値を選択する。
【００７８】
なお、前記選択は、前記図１１における（ａ）〜（ｃ）のうち、いずれの態様であってもよいが、当該注目画素が色の境界近傍に位置する画素でない場合には、図１１（ｃ）のように選択することで、注目画素周辺に配置された画素に対応する色成分値の変動についての情報を多く得ることができるため、当該良好な画質を得ることができる。
【００７９】
そして、当該注目画素に対するＲ成分値は、前記式（１）〜（９）および条件１〜８におけるＧ色に対応する部分をＲ色に適宜置き換えて演算すればよい。なお、条件１〜８においては、第１の色成分値演算手段７または第２の色成分値演算手段８によってフレームメモリ４から読み出される色成分値の数に応じて適宜条件の式を減らす必要がある。すなわち、図１１（ａ）および（ｂ）のように色成分値の選択を行った場合には、選択する色成分値の数が少ないため、条件１〜４における２つの条件および条件５〜８における２つの条件が不要となる。
【００８０】
また、しきい値（Ｔｈ１〜３）の値は、Ｇ成分値の演算を行なう場合とＲ成分値の演算を行なう場合とで変更しなくてもよいし、当該色成分演算装置１００を適用する装置やシステムの仕様に応じて適宜変更してもよい。
【００８１】
当該色成分演算装置１００は、以上に説明した演算および処理を、各Ｂ画素について行なうことにより、全てのＢ画素に対してＲ成分値の演算を行なう。
【００８２】
なお、Ｒ画素を注目画素として、Ｇ成分値またはＢ成分値を演算する場合には、上述した演算および処理においてＢ色に対応する部分をＲ色に適宜置き換えればよい。
【００８３】
次に、Ｇ画素を注目画素として、Ｒ成分値またはＢ成分値を演算する場合について説明する。Ｇ画素を注目画素とする場合には、当該Ｇ画素が、ベイヤ配列における偶数行または奇数行のいずれの行に位置するかによって、未知成分値の演算における色成分値の選択の仕方が異なる。
【００８４】
前記図２に示すように、ベイヤ配列における奇数行に配置されたＧ画素に対し、Ｒ画素はＨ軸方向にのみ配置され、Ｂ画素はＶ軸方向にのみ配置される。一方、ベイヤ配列における偶数行に配置されたＧ画素に対しては、Ｒ画素はＶ軸方向にのみ配置され、Ｂ画素はＨ軸方向にのみ配置される。
【００８５】
したがって、Ｇ画素に対して、Ｒ成分値またはＢ成分値を演算する場合には、当該Ｇ画素が配置された行（奇数行または偶数行）に応じて、当該未知成分値の演算に必要な色成分値を選択する。
【００８６】
すなわち、ベイヤ配列において奇数行に配置されたＧ画素に対して、Ｒ成分値の演算を行なう場合には、当該Ｇ画素を含む画素行に配置されたＲ画素に対応する色成分値およびＧ画素に対応する色成分値を選択する。また、当該奇数行に配置されたＧ画素に対して、Ｂ成分値を演算する場合には、当該Ｇ画素を含む画素列に配置されたＢ画素に対応する色成分値およびＧ画素に対応する色成分値を選択する。
【００８７】
一方、ベイヤ配列において偶数行に配置されたＧ画素に対して、Ｒ成分値の演算を行なう場合には、当該Ｇ画素を含む画素列に配置されたＲ画素に対応する色成分値およびＧ画素に対応する色成分値を選択する。また、当該偶数行に配置されたＧ画素に対して、Ｂ成分値を演算する場合には、当該Ｇ画素を含む画素行に配置されたＢ画素に対応する色成分値およびＧ画素に対応する色成分値を選択する。
【００８８】
そして、上述のように、未知成分値の演算に際して使用する色成分値を選択した後、上述したＢ画素を注目画素としてＧ成分値を行なう場合と同様にして、Ｒ成分値およびＢ成分値の演算を行なう。
【００８９】
図１２は、Ｇ画素を注目画素としてＲ成分値を演算する場合に選択する色成分値に対応する画素を模式的に示した模式図である。以下、図１２に基づいて、Ｇ画素を注目画素としてＲ成分値を演算する場合について説明する。なお、以下の説明においては、奇数行に配置されたＧ画素を注目画素としてＲ成分値演算を行なう場合について説明する。
【００９０】
例えば、図１２におけるＧ（４，３）を注目画素とし、当該Ｇ（４，３）に対応するＲ成分値の演算を行なう場合、まず、判別値演算手段５は、当該Ｇ（４，３）を含む画素行に配置された画素、すなわち、図１２中の太枠で囲まれたＧ画素に対応する色成分値およびＲ画素に対応する色成分値をフレームメモリ４から読み出して、下記式（１０）〜（１２）以下の演算を行なう。そして、当該演算の結果得られる判別値に対応する信号を選択手段６に出力する。
【００９１】
ＤｉｆＲ１
＝｛｜Ｒ（４，０）−Ｒ（４，２）｜＋｜Ｒ（４，２）−Ｒ（４，４）｜｝／２
…（１０）
ＤｉｆＲ２
＝｛｜Ｒ（４，２）−Ｒ（４，４）｜＋｜Ｒ（４，４）−Ｒ（４，６）｜｝／２
…（１１）
ＤｉｆＧ１
＝｛｜Ｇ（４，１）−Ｇ（４，３）｜＋｜Ｇ（４，３）−Ｇ（４，５）｜｝／２
…（１２）
【００９２】
選択手段６は、判別値演算手段５において演算された判別値および予め定める条件に従って、第１の色成分値演算手段７または第２の色成分値演算手段８のいずれかの色成分値演算手段を選択する。そして、選択した色成分値演算手段に対してＲ成分値を演算する旨の信号を出力する。なお、具体的に説明すると、当該選択手段６には下記条件１３〜１６のように条件を設定する。
条件１３：ＤｉｆＲ１＜Ｔｈ１
条件１４：ＤｉｆＲ２＜Ｔｈ１
条件１５：ＤｉｆＧ１／ＤｉｆＲ１＞Ｔｈ２  かつ  ＤｉｆＲ１＜Ｔｈ３
条件１６：ＤｉｆＧ１／ＤｉｆＲ２＞Ｔｈ２  かつ  ＤｉｆＲ２＜Ｔｈ３
（ただし、Ｔｈ３＞Ｔｈ１）
【００９３】
すなわち、前記条件１〜４と同様にして、前記ＤｉｆＲ１またはＤｉｆＲ２と第１のしきい値Ｔｈ１とを比較する。また、前記条件５〜８と同様にして、ＤｉｆＧ１／ＤｉｆＲ１またはＤｉｆＧ１／ＤｉｆＲ２と、第２のしきい値Ｔｈ２とを比較し、前記ＤｉｆＲ１またはＤｉｆＲ２と第３のしきい値Ｔｈ３とを比較する。
【００９４】
そして、選択手段６の出力が第１の色成分値演算手段７に入力された場合、当該第１の色成分値演算手段７は、前記式（９）と同様にして、Ｒ成分値Ｓｒ（４，３）の演算を行なって、当該Ｒ成分値Ｓｒ（４，３）に対応する信号をフレームメモリ４に出力する。具体的には下記式（１３）に示した演算を行なう。なお、図１２におけるＧ（４，３）に対してＲ成分値Ｓｒ（４，３）を演算する場合、当該第１の色成分値演算手段７は、Ｇ（４，１）、Ｇ（４，５）、Ｒ（４，２）またはＲ（４，４）に対応する色成分値を選択してフレームメモリ４から読み出す。また、この場合の相似比はｆ＝１／２となる。
【００９５】
Ｓｒ（４，３）
＝｛ＳＧ（４，３）−Ｇａｖｅ｝×（１／２）＋Ｒａｖｅ
＝｛ＳＧ（４，３）−［（ＳＧ（４，１）＋ＳＧ（４，５））／２］｝×（１／２）
＋（ＳＲ（４，２）＋ＳＲ（４，４））／２
…（１３）
【００９６】
一方、前記選択手段６の出力が第２の色成分値演算手段８に入力された場合、当該第２の色成分値演算手段８は、下記式（１４）に従ってＲ成分値Ｓｒ（４，３）の演算を行なって、当該Ｒ成分値Ｓｒ（４，３）に対応する信号をフレームメモリ４に出力する。なお、当該演算の結果は前記式（１３）におけるＲａｖｅと同様の値となる。
Ｓｒ（４，３）＝Ｒａｖｅ
＝｛ＳＲ（４，２）＋ＳＲ（４，４）｝／２                …（１４）
【００９７】
以上の演算により、当該Ｇ（４，３）に対してＲ成分値の演算が終了する。当該色成分演算装置１００は、上述の演算をベイヤ配列における各Ｇ画素に対して行なうことにより全てのＧ画素に対応するＲ成分値を演算を行なう。なお、Ｇ画素に対応するＢ成分値の演算は、上述の演算において、当該Ｇ画素を含む画素行におけるＲ画素に対応するＲ成分値を、当該Ｇ画素を含む画素列におけるＢ画素に対応するＢ成分値に適宜置き換えればよい。
【００９８】
以上の説明にように、本実施の形態１における色成分演算装置１００によれば、既知成分値の変動と未知成分値の変動との相関を判別することができる。そして、当該判別の結果に応じて、当該注目画素に対応する未知成分値の演算を行なうことができる。したがって、偽色の発生を防止し、黒ずみや白抜け等の画質の劣化を防止することができる。
【００９９】
なお、条件５〜８においては、判別値ＤｉｆＢ１，２と判別値ＤｉｆＧ１〜４の比として、ＤｉｆＢ１／ＤｉｆＧ１等のように、既知色に対応する判別値を未知色に対応する判別値によって除算した値を演算し、当該演算の結果がしきい値Ｔｈ２よりも大きい場合を設定する場合について説明したが、前記判別値の比として、ＤｉｆＧ１／ＤｉｆＢ１のように、未知色に対応する判別値を既知色に対応する判別値によって除算した値を演算し、当該演算の結果がしきい値Ｔｈ２よりも小さい場合を設定してもよい。なお、上述のように判別値の比として、ＤｉｆＢ１／ＤｉｆＧ１等を使用した場合とＤｉｆＧ１／ＤｉｆＢ１を使用した場合とに応じてしきい値Ｔｈ２の値を変更する必要がある。
【０１００】
実施の形態２．
図１３は、実施の形態２における色成分演算装置２００を適用した撮像装置の構成を示すブロック図である。なお、以下の説明においては、前記実施の形態１において説明した構成と同様の構成については同一の符号を付記し、説明を省略する。
【０１０１】
相関方向判定手段１１は、フレームメモリ４に記憶された色成分値に基づいて、当該注目画素を含む所定の領域において相関が強い方向を判定する。そして、当該判定の結果を判別値演算手段１２、第１の色成分値演算手段１３および第２の色成分値演算手段１４に出力する。
【０１０２】
例えば、細かい縦縞の画像のように、垂直方向において色の変化が少なく、水平方向において色の変化が多い場合には、当該注目画素を含む所定の領域において、当該注目画素から見て垂直方向に配置された画素に対応する色成分値の相関（以下、縦相関ともいう。）が強いと判定され、細かい横縞の画像のように、水平方向において色の変化が少なく、垂直方向において色の変化が多い場合には、当該注目画素を含む所定の領域において、当該注目画素から見ての水平方向に配置された画素に対応する色成分値の相関（以下、横相関ともいう。）が強いと判定される。
【０１０３】
判別値演算手段１２は、相関方向判定手段１１の出力に基づいて判別値を演算して、当該判別値に対応する信号を選択手段６に出力する。具体的に説明すると、例えば、前記相関方向判定手段１１によって、縦相関が強いと判定された場合には、注目画素が含まれる画素列に配置された画素に対応する色成分値をフレームメモリ４から読み出して判別値を演算する。一方、横相関が強いと判定された場合には、注目画素が含まれる画素行に配置された画素に対応する色成分値をフレームメモリ４から読み出して判別値を演算する。
【０１０４】
選択手段６は、前記判別値および予め設定された条件に基づいて、第１の色成分値演算手段１３または第２の色成分値演算手段１４のいずれかを選択する。そして、選択した色成分値演算手段に対して、未知成分値の演算を行なう旨の信号を出力する。
【０１０５】
第１の色成分値演算手段１３は、選択手段６から信号を入力された場合、前記相関方向判定手段１１の出力に基づいてフレームメモリ４に記憶された色成分値を適宜選択して読み出して未知成分値の演算を行なう。そして、当該未知成分値に対応する信号をフレームメモリ４に出力する。
【０１０６】
図１４は、当該第１の色成分値演算手段１３の構成を示すブロック図である。なお、図１４において、前記実施の形態１において説明した構成と同様の構成については、同一の符号を付記し、説明を省略する。
【０１０７】
第１の平均値演算手段１３１は、前記フレームメモリ４に記憶された色成分値のうち、相関方向判定手段１１において相関が強いと判定された方向に配置された画素に対応する色成分値であって、当該注目画素における既知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、フレームメモリ４から読み出した色成分値に基づいて第１の平均値を演算して、当該第１の平均値に対応する信号を信号生成手段７３に出力する。
【０１０８】
第２の平均値演算手段１３２は、前記フレームメモリ４に記憶された色成分値のうち、相関方向判定手段１１において相関が強いと判定された方向に配置された画素に対応する色成分値であって、当該注目画素における未知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、フレームメモリ４から読み出した色成分値に基づいて第２の平均値を演算して、当該第２の平均値に対応する信号を信号生成手段７３に出力する。なお、信号生成手段７３の動作は前記実施の形態１において説明した動作と同様であるので説明を省略する。
【０１０９】
一方、第２の色成分値演算手段１４は、選択手段６から信号を入力された場合、前記相関方向判定手段１１の出力に基づいて、フレームメモリ４に記憶された色信号を適宜選択して未知成分値を演算する。具体的には、前記フレームメモリ４に記憶された色成分値のうち、相関方向判定手段１１において相関が強いと判定された方向に配置された画素に対応する色成分値であって、当該注目画素における未知色と同一の色に対応する色成分値をフレームメモリ４から読み出す。そして、フレームメモリ４から読み出した色成分値の平均値を演算して、当該平均値に対応する信号を未知成分値に対応する信号としてフレームメモリ４に出力する。なお、フレームメモリ４は、第１の色成分値演算手段１３または第２の色成分値演算手段１４から出力された信号に対応する未知成分値を当該注目画素に対応付けて記憶する。
【０１１０】
以下、前記図４に示したベイヤ配列におけるＢ（３，３）に対して未知成分値を演算する場合について説明する。なお、以下の説明においては、まず、Ｇ成分値の演算を行なう場合について説明し、次にＲ成分値の演算を行なう場合について説明する。
【０１１１】
図１５は、相関方向判定手段１１の動作を説明するためのフローチャートである。当該相関方向判定手段１１は、Ｂ（３，３）に対して垂直方向に隣接配置されたＧ画素の各々に対応する色成分値の差分（ｄＶ）、すなわちＧ（２，３）に対応する色成分値とＧ（４，３）に対応する色成分値との差分を下記式（１５）に従って演算する（ＳＴ１１１）。また、Ｂ（３，３）に対して水平方向に隣接配置されたＧ画素に対応する色成分値の差分（ｄＨ）、すなわちＧ（３，２）に対応する色成分値とＧ（３，４）に対応する色成分値との差分を下記式（１６）に従って演算する（ＳＴ１１１）。
【０１１２】
ｄＶ＝｜Ｇ（２，３）−Ｇ（４，３）｜                                …（１５）
ｄＨ＝｜Ｇ（３，２）−Ｇ（３，４）｜                                …（１６）
【０１１３】
当該相関方向判定手段１１は、ｄＶとｄＨとを比較していずれの値が大きいかを判断する（ＳＴ１１２）。そして、ｄＶ＜ｄＨの場合（ＳＴ１１２：Ｙ）には縦相関が強いと判定し（ＳＴ１１３）、ｄＶ＞ｄＨの場合（ＳＴ１１２：Ｎ）には横相関が強いと判定する（ＳＴ１１４）。そして、当該判定の結果を判別値演算手段１２、第１の色成分値演算手段１３および第２の色成分値演算手段１４に出力する。すなわち、当該相関方向判定手段１１は前記差分によって相関が強い方向の判定を行なう。
【０１１４】
なお、ｄＶ＝ｄＨの場合は、縦相関または横相関のいずれの相関が強いともいえない場合である。したがって、このような場合には縦相関が強いと判定するようにしてもよいし、横相関が強いと判定するようにしてもよい。なお、実施の形態２においてはｄＶ＝ｄＨの場合には縦相関が強いと判定するように設定した。
【０１１５】
判別値演算手段１２は、前記相関方向判定手段１１から出力された信号に応じて判別値を演算する。図１６は、当該判別値演算手段１２の動作を説明するためのフローチャートである。
【０１１６】
判別値演算手段１２は、相関方向判定手段１１において縦相関が強いと判定された場合（ＳＴ１２１：Ｙ）、Ｂ（３，３）を含む画素列において、当該Ｂ（３，３）の近傍に配置されたＧ画素に対応する色成分値に基づいて判別値を演算する（ＳＴ１２２）。具体的に説明すると、判別値演算手段１２は、フレームメモリ４から、Ｇ（３，０）、Ｇ（３，２）、Ｇ（３，４）、Ｇ（３，６）に対応する色成分値を読み出して、下記式（１７）および式（１８）に従って判別値を演算する。
【０１１７】
ＤｉｆＧ１
＝｛｜Ｇ（０，３）−Ｇ（２，３）｜＋｜Ｇ（２，３）−Ｇ（４，３）｜｝／２
…（１７）
ＤｉｆＧ２
＝｛｜Ｇ（２，３）−Ｇ（４，３）｜＋｜Ｇ（４，３）−Ｇ（６，３）｜｝／２
…（１８）
【０１１８】
また、さらに、Ｂ（３，３）を含む画素列において、当該Ｂ（３，３）の近傍に配置されたＢ画素に対応する色成分値に基づいて判別値を演算する（ＳＴ１２２）。。具体的に説明すると、判別値演算手段１２は、フレームメモリ４から、Ｂ（３，１）、Ｂ（３，３）、Ｂ（３，５）に対応する色成分値を読み出して、下記式（１９）に従って判別値を演算する
【０１１９】
ＤｉｆＢ１
＝｛｜Ｂ（１，３）−Ｂ（３，３）｜＋｜Ｂ（３，３）−Ｂ（５，３）｜｝／２
…（１９）
【０１２０】
一方、横相関が強いと判断された場合（ＳＴ１２１：Ｎ）、判別値演算手段１２は、Ｂ（３，３）を含む画素行において、当該Ｂ（３，３）の近傍に配置されたＧ画素に対応する色成分値に基づいて判別値を演算する（ＳＴ１２３）。具体的には、判別値演算手段１２は、フレームメモリ４から、Ｇ（０，３）、Ｇ（２，３）、Ｇ（４，３）、Ｇ（６，３）に対応する色成分値を読み出して、下記式（２０）および式（２１）に従って判別値を演算する。
【０１２１】
ＤｉｆＧ１
＝｛｜Ｇ（３，０）−Ｇ（３，２）｜＋｜Ｇ（３，２）−Ｇ（３，４）｜｝／２
…（２０）
ＤｉｆＧ２
＝｛｜Ｇ（３，２）−Ｇ（３，４）｜＋｜Ｇ（３，４）−Ｇ（３，６）｜｝／２
…（２１）
【０１２２】
また、さらに、Ｂ（３，３）を含む画素行において、当該Ｂ（３，３）の近傍に配置されたＢ画素に対応する色成分値に基づいて判別値を演算する（ＳＴ１２３）。具体的に説明すると、判別値演算手段１２は、フレームメモリ４から、Ｂ（３，１）、Ｂ（３，３）、Ｂ（３，５）に対応する色成分値を読み出して、下記式（２２）に従って判別値を演算する。
【０１２３】
ＤｉｆＢ１
＝｛｜Ｂ（３，１）−Ｂ（３，３）｜＋｜Ｂ（３，３）−Ｂ（３，５）｜｝／２
…（２２）
【０１２４】
当該判別値演算手段１２は、縦相関が強いと判断された場合または横相関が強いと判断された場合の各々に応じて上述のように判別値を演算し、当該判別値に対応する信号を選択手段６に出力する。
【０１２５】
選択手段６は、前記判別値演算手段１２から出力された信号に対応する判別値および所定の条件に基づいて、Ｇ成分値の演算を行なう色成分値演算手段を選択する。具体的には、下記条件１〜４に基づいて色成分値演算手段の選択を行なう。なお、当該選択手段６の動作は前記実施の形態１において説明した動作と同様であるので説明を省略する。ただし、前記実施の形態１で説明した図６のＳＴ６１における条件１〜８が下記条件１〜４になる。そして、当該選択手段６は、選択した色成分値演算手段に対してＧ成分値を演算する旨の信号を出力する。
【０１２６】
条件１：ＤｉｆＧ１＜Ｔｈ１
条件２：ＤｉｆＧ２＜Ｔｈ１
条件３：ＤｉｆＢ１／ＤｉｆＧ１＞Ｔｈ２  かつ  
ＤｉｆＧ１＜Ｔｈ３
条件４：ＤｉｆＢ１／ＤｉｆＧ２＞Ｔｈ２  かつ  
ＤｉｆＧ２＜Ｔｈ３
（ただし、Ｔｈ３＞Ｔｈ１）
【０１２７】
選択手段６から出力された信号が第１の色成分値演算手段１３に入力された場合、当該第１の色成分値演算手段１３は、前記相関方向判定手段１１からの入力に基づいてフレームメモリ４から色成分値を読み出してＧ成分値を演算する。以下、具体的に説明する。
【０１２８】
図１７は、第１の色成分値演算手段１３の動作を説明するためのフローチャートである。前記相関方向判定手段１１において縦相関が強いと判定された場合（ＳＴ１３１：Ｙ）、第１の色成分値演算手段１３における第１の平均値演算手段１３１は、Ｂ（３，３）を含む画素列において、当該Ｂ（３，３）近傍に配置されたＢ画素（Ｂ（１，３）、Ｂ（５，３））に対応する色成分値をフレームメモリ４から読み出して、下記式（２３）に従って当該色成分値の平均値Ｂａｖｅを演算する（ＳＴ１３２）。そして、平均値Ｂａｖｅに対応する信号を信号生成手段７３に出力する。
【０１２９】
Ｂａｖｅ＝｛ＳＢ（１，３）＋ＳＢ（５，３）｝／２                                …（２３）
【０１３０】
また、第２の平均値演算手段１３２は、Ｂ（３，３）を含む画素列において、当該Ｂ（３，３）近傍に配置されたＧ画素（Ｇ（２，３）、Ｇ（４，３））に対応する色成分値をフレームメモリ４から読み出して、下記式（２４）に従って当該色成分値の平均値Ｇａｖｅを演算する（ＳＴ１３３）。そして、平均値Ｇａｖｅに対応する信号を信号生成手段７３に出力する。
【０１３１】
Ｇａｖｅ＝｛ＳＧ（２，３）＋ＳＧ（４，３）｝／２                      …（２４）
【０１３２】
なお、当該第２の平均値演算手段１３２による色成分値の選択は、選択されたＧ成分値に対応するＧ画素を結んで形成される幾何学図形と、前記第１の平均値演算手段において選択されたＢ成分値に対応するＢ画素を結んで形成される幾何学図形とが、相似比ｆの相似の関係となるように行なう。
【０１３３】
第１の平均値演算手段１３１および第２の平均値演算手段１３２から信号を入力された成分生成手段７３は、前記式（９）と同様にしてＧ成分値Ｓｇ（３，３）を演算（ＳＴ１３４）し、当該Ｇ成分値Ｓｇ（３，３）に対応する信号をフレームメモリ４に出力する。なお、上述の説明のように画素の選択を行なった場合、選択されたＢ画素（Ｂ（１，３）、Ｂ（５，３））を結んで形成される線分と、選択されたＧ画素（Ｇ（２，３）、Ｇ（４，３））を結んで形成される線分との比が１：２となることから相似比はｆ＝１／２となる。
【０１３４】
一方、前記相関方向判定手段１１において横相関が強いと判定された場合（ＳＴ１３１：Ｎ）、第１の平均値演算手段１３１は、Ｂ（３，３）を含む画素行において、当該Ｂ（３，３）近傍に配置されたＢ画素（Ｂ（３，１）、Ｂ（３，５））に対応する色成分値をフレームメモリ４から読み出して、前記式（２３）と同様にして演算を行なうことにより平均値Ｂａｖｅを演算する（ＳＴ１３５）。そして、平均値Ｂａｖｅに対応する信号を信号生成手段７３に出力する。
【０１３５】
また、第２の平均値演算手段１３２は、Ｂ（３，３）を含む画素行において、当該Ｂ（３，３）近傍に配置されたＧ画素（Ｇ（３，２）、Ｇ（３，４））に対応する色成分値をフレームメモリ４から読み出して、前記式（２４）と同様にして演算を行なうことにより、平均値Ｇａｖｅを演算する（ＳＴ１３６）。そして、平均値Ｇａｖｅに対応する信号を信号生成手段７３に出力する。なお、以降の動作は前記ＳＴ１３４と同様である。
【０１３６】
一方、選択手段６から出力された信号が第２の色成分値演算手段１４に入力された場合、当該第２の色成分値演算手段１４は、前記相関方向判定手段１１からの入力に基づいてフレームメモリ４から色成分値を読み出してＧ成分値の演算を行なう。以下、具体的に説明する。
【０１３７】
図１８は、第２の色成分値演算手段１４の動作を説明するためのフローチャートである。前記相関方向判定手段１１において縦相関が強いと判定された場合（ＳＴ１４１：Ｙ）、第２の色成分値演算手段１４は、Ｂ（３，３）を含む画素列において、当該Ｂ（３，３）近傍に配置されたＧ画素（Ｇ（２，３）、Ｇ（４，３））に対応する色成分値をフレームメモリ４から読み出して、下記式（２５）に従って当該色成分値の平均値を演算する（ＳＴ１４２）。そして、当該平均値をＧ成分値Ｓｇ（３，３）として当該Ｇ成分値Ｓｇ（３，３）に対応する信号をフレームメモリ４に出力する（ＳＴ１４４）。
Ｓｇ（３，３）＝｛ＳＧ（２，３）＋ＳＢ（４，３）｝／２                …（２５）
【０１３８】
一方、前記相関方向判定手段１１において横相関が強いと判定された場合（ＳＴ１４１：Ｎ）、第２の色成分値演算手段１４は、Ｂ（３，３）を含む画素行において、当該Ｂ（３，３）近傍に配置されたＧ画素（Ｇ（３，２）、Ｇ（３，４））に対応する色成分値をフレームメモリ４から読み出して、下記式（２６）に従って当該色成分値の平均値を演算する（ＳＴ１４３）。そして、当該平均値をＧ成分値Ｓｇ（３，３）として当該Ｇ成分値Ｓｇ（３，３）に対応する信号をフレームメモリ４に出力する（ＳＴ１４４）。
Ｓｇ（３，３）＝｛ＳＧ（３，２）＋ＳＢ（３，４）｝／２                …（２６）
【０１３９】
次に、Ｂ（３，３）に対してＲ成分値を演算する場合について説明する。当該色成分演算装置２００において当該Ｒ成分値を演算するに際し、前記図１１（ａ）または（ｂ）のようにＲ画素に対応する色成分値を選択する場合には、前記実施の形態１において説明した処理と同様の処理を行なうことによりＲ成分値を演算する。
【０１４０】
また、前記図１１（ｃ）のようにＲ画素に対応する色成分値を選択する場合には、Ｒ（２，２）に対応する色成分値とＲ（４，４）に対応する色成分値との相関（すなわち、図中Ｄ１方向の相関。以下、第１の相関ともいう。）を演算し、また、Ｒ（２，４）に対応する色成分値とＲ（４，２）に対応する色成分値との相関（すなわち、図中Ｄ２方向の相関。以下、第２の相関ともいう。）を演算した後、第１の相関と第２の相関のいずれの相関が強いかを相関方向判定手段１１において判定したうえで、上述したＧ成分値の演算と同様にして、当該Ｒ成分値の演算を行なう。
【０１４１】
なお、Ｒ画素に対する未知成分値の演算は、実施の形態２において説明したＢ画素に対する未知成分値の演算において、Ｂ成分値に対応する部分をＲ成分値に適宜置き換え、また、Ｒ成分値に対応する部分をＢ成分値に適宜置き換えることによって行なうことができる。また、Ｇ画素に対する未知成分値の演算は、前記実施の形態１の場合と同様であるので説明を省略する。
【０１４２】
以上の処理によって、全ての画素に対応する未知成分値が得られた後、制御手段９の出力に応じて、フレームメモリ４に記憶された色成分値がＲＧＢ信号出力手段１０によって読み出され、当該ＲＧＢ信号出力手段は、当該フレームメモリ４から読み出した色成分値に基づいてＲＧＢ信号を出力する。
【０１４３】
図１９は、フレームメモリ４に記憶された色成分値の具体例を模式的に示す模式図である。以下、図１９のようにフレームメモリ４に色成分値が記憶された場合において、中央にあるＢ画素（Ｂ成分値（既知成分値）＝７４）を注目画素としてＧ成分値を演算する場合について、実施の形態２における色成分演算装置２００の動作を具体的に説明する。なお、図１９中の数値は各画素に対応する色成分値を表す。
【０１４４】
まず、相関方向判定手段１１は、注目画素に隣接配置されたＧ画素に対応する色成分値に基づいてｄＶおよびｄＨの演算を行なう。したがって、具体的には、下記式（２７）、（２８）の演算を行なう。
【０１４５】
ｄＶ＝｜９１−８９｜＝２      …（２７）
ｄＨ＝｜８９−９１｜＝２      …（２８）
【０１４６】
上記演算によれば、ｄＶの値とｄＨの値とが同じ値になる。したがって、実施の形態２における相関方向判定手段１１においては、前記図１５のフローチャートに従い、縦相関が強いと判定される。そして、当該相関判定手段１１は、縦相関が強い旨を示す信号を判別値演算手段１２、第１の色成分値演算手段１３および第２の色成分値演算手段１４に出力する。
【０１４７】
次に、判別値演算手段１２は、相関方向判定手段１１から出力された信号に従い、注目画素が配置された画素列におけるＧ画素に対応する色成分値およびＢ画素に対応する色成分値をフレームメモリ４から読み出す。そして、下記式（２９）〜（３１）に従って演算を行なうことにより、判別値（ＤｉｆＧ１、ＤｉｆＧ２、ＤｉｆＢ１）を演算する。
【０１４８】
ＤｉｆＧ１＝｛｜９１−９１｜＋｜９１−８９｜｝／２＝１                …（２９）
【０１４９】
ＤｉｆＧ２＝｛｜９１−８９｜＋｜８９−８３｜｝／２＝４                …（３０）
【０１５０】
ＤｉｆＢ１＝｛｜６９−７４｜＋｜７４−１４３｜｝／２＝３７            …（３１）
【０１５１】
さらに、判別値演算手段１２は、上記式（２９）〜（３１）によって得られた判別値に基づいて下記式（３２）および（３３）の演算を行なう。
【０１５２】
ＤｉｆＢ１／ＤｉｆＧ１＝３７／１＝３７                                …（３２）
ＤｉｆＢ１／ＤｉｆＧ２＝３７／４≒９                                  …（３３）
【０１５３】
当該判別値演算手段１２は、上記（２９）〜（３３）の結果得られた値に対応する信号を選択手段６に出力する。
【０１５４】
選択手段６は、前記判別値演算手段１２から出力された信号に対応する判別値に基づき、前記条件１〜４に従って色成分値演算手段を選択する。前記判別値演算手段１２の演算によれば、判別値ＤｉｆＧ１＝１であり十分小さい値である。よって、前記条件１を満たす。したがって、当該選択手段６は、第２の色成分値演算手段１４にＧ成分値を演算する旨の信号を出力する。
【０１５５】
第２の色成分値演算手段１４は、前記相関方向判定手段１１における判定に基づいて、注目画素が配置された画素列において、当該注目画素に隣接配置されたＧ画素に対応する色成分値をフレームメモリ４から読み出す。そして、下記式（３４）の演算を行なう。
【０１５６】
Ｓｇ＝（９１＋８９）／２＝９０                                        …（３４）
【０１５７】
そして、第２の色成分値演算手段１４は、前記式（３４）によって得られた値Ｓｇに対応する信号をＧ成分値に対応する信号としてフレームメモリ４に出力する。
【０１５８】
図２０は、上述の例において、実施の形態２における色成分演算装置２００により得られる色成分値を説明するための説明図である。なお、図２０における横軸、縦軸は前記図９と同様である。また、図２１において、○印はＧ画素に対応する色成分値、●印はＢ画素に対応する色成分値、＊印は第２の色成分値演算手段によって得られた色成分値を示す。また、破線はＧ色成分値曲線、一点鎖線はＢ色成分値曲線である。
【０１５９】
また、図中の数値は各印に対応する色成分値であり、○印および＊印については上、●印については右、△印については下に各印に対応する色成分値を付した。
【０１６０】
なお、図２０中の△印は、参考のため、上述の例において第１の色成分値演算手段１３により演算した色成分値をプロットしたものである。当該第１の色成分値演算手段１３における演算を具体的に説明すると以下のようになる。
【０１６１】
すなわち、当該第１の色成分値演算手段１３は、前記相関方向判定手段１１によって縦相関が強いと判定されたため、下記式（３５）〜（３７）の演算を行なう。
Ｂａｖｅ＝（６９＋１４３）／２＝１０６                                …（３５）
Ｇａｖｅ＝（９１＋８９）／２＝９０                                    …（３６）
Ｓｇ      ＝｛ＳＢ−Ｂａｖｅ｝×ｆ＋Ｇａｖｅ
＝｛７４−１０６｝×（１／２）＋９０
＝７４                                                      …（３７）
【０１６２】
よって、以上の演算により、上述の例において第１の色成分値演算手段１３によって演算されるＧ成分値は図２０中の△印のように７４となる。
【０１６３】
図２０のように、上述の例において、第１の色成分値演算手段１３によってＧ成分値の演算を行なった場合、当該Ｇ成分値はＧ成分値曲線から外れてしまい、当該注目画素に対応するＧ成分値が落ち込んでしまう。そうすると、当該注目画素において黒ずみが発生してしまう可能性がある。しかしながら、前記実施の形態２における色成分演算装置２００によれば、上述の例の場合において第２の色成分値演算手段１４によってＧ成分値の演算を行なうため、Ｇ成分値曲線に合致したＧ成分値を得ることができる。
【０１６４】
以上の説明にように、本実施の形態２における色成分演算装置２００によれば、既知成分値の変動と未知成分値の変動との相関を判別することができる。そして、当該判別の結果に応じて当該注目画素に対応する未知成分値の演算を行なうことができる。したがって、偽色の発生を防止し、黒ずみや白抜け等の画質の劣化を防止することができる。
【０１６５】
また、注目画素に隣接する画素に対応する色成分値の相関を判定して未知成分値の演算を行なうため、例えば、エッジ部分のように隣り合う画素間で色成分値の相関が著しく低くなってしまう場合においても未知成分値を的確に演算することができる。
【０１６６】
なお、実施の形態２においては注目画素に隣接する画素に対応する色成分値の相関を前記相関判定手段１１において判定する場合について説明したが、当該相関の判定に際して用いる色成分値は当該注目画素に隣接する画素に対応する色成分値でなくてもよい。しかしながら、通常、注目画素により近い画素に対応する色成分値は、当該注目画素に対応する色成分値との相関が強いため、当該注目画素により近い画素に対応する色成分値を用いた方が、より正確な色成分値を得ることができる。
【０１６７】
なお、前記実施の形態１および２においては、色成分がＲ、Ｇ、Ｂの３色の場合について説明したが、色成分は３色でなくてもよく、何色あってもよい。また、以上の説明においては、各画素に対応する色が、Ｒ色、Ｇ色、Ｂ色のいずれかに対応する場合について説明したが、各画素に対応する色は他の色であってもよい。
【０１６８】
例えば、光電変換素子をＣ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）からなる補色フィルタで覆った場合にも上述した色成分演算装置１００、２００は適用可能である。なお、補色フィルタを使用した場合にはフレームメモリ４において各画素に対応する色成分値が全て得られた後、当該フレームメモリ４に記憶された色成分値に基づいて所定の演算を行なうことによりＲＧＢ信号を得る必要がある。
【０１６９】
また、前記実施の形態１および２においては、第１の色成分値演算手段７、１３の第２の平均値演算手段７２、１３２において選択する色成分値と、前記第２の色成分値値演算手段８、１４において選択する色成分値とが同一である場合について説明したが、異なる色成分値を選択してもよい。
【０１７０】
また、前記実施の形態１および２のように、第１の色成分値演算手段７、１３の第２の平均値演算手段７２、１３２において選択する色成分値と、前記第２の色成分値値演算手段８、１４において選択する色成分値とが同一である場合には、前記第２の色成分値演算手段８、１４を設けずに前記第２の平均値演算手段７２、１３２を当該第２の色成分値演算手段８、１４としても使用することで回路規模を小さくすることができる。
【０１７１】
また、前記実施の形態１または２においては、未知成分値を演算するに際して選択する画素が、２個または４個の場合について説明したが、選択する画素の個数は任意に設定することができる。例えば、前記図１１（ｃ）に示したｑ４上に位置する画素を選択する場合、上述した、Ｂ（１、１）、Ｂ（１、５）、Ｂ（５、１）、Ｂ（５、５）に加えて、Ｂ（１、３）、Ｂ（５、３）を選択することもできる。そうすると、注目画素周辺に配置された画素に対応する色成分値の変動についての情報が多く得られるため、良好な画質を得ることができる。
【０１７２】
また、前記実施の形態１または２においては、未知成分値を演算する順序については特に説明をしていないが、当該未知成分値の演算はどのような順序で行なってもよい。例えば、図２１に示した順序で行なうことができる。図２１に示した順序の場合、まず、Ｒ画素に対するＧ成分値を演算し（ＳＴ１）、次にＢ画素に対するＧ成分値を演算する（ＳＴ２）。そして、Ｇ画素に対して、Ｒ成分値を演算（ＳＴ３）し、Ｂ成分値を演算する（ＳＴ４）。この場合、前記ＳＴ２を終了した時点で全ての画素においてＧ成分値が既知成分値となっている。
【０１７３】
そうすると、前記ＳＴ３および前記ＳＴ４においては、当該Ｇ画素に隣接するＢ画素またはＲ画素において既知成分値となっているＧ成分値によって、色成分値の演算を行なうことができる（なお、この場合の相似比はｆ＝１となる。）。したがって、当該Ｇ画素により近い画素に対応する色成分値を使用して未知成分値の演算を行なうことができるので、より正確な未知成分値の演算を行なうことができる。上述のように、通常、注目画素により近い画素に対応する色成分値の方が、当該注目画素に対応する色成分値との相関が強いからである。
【０１７４】
そして、Ｒ画素に対してＢ成分値を演算（ＳＴ５）する場合、およびＢ画素に対してＲ成分値を演算（ＳＴ６）する場合においても前記相似比をｆ＝１として色成分値の演算を行なう。
【０１７５】
また、前記実施の形態１または２において説明した色成分演算装置１００、２００は、デジタルスチルカメラや携帯端末装置に設けるカメラ等の撮像装置に適用することが可能である。
【図面の簡単な説明】
【０１７６】
【図１】この発明の実施の形態１における色成分演算装置を適用した撮像装置の構成を示すブロック図である。
【図２】ベイヤ（Ｂａｙｅｒ）型に配置された、Ｒ色、Ｇ色、Ｂ色の３原色に対応する色フィルタの模式図である。
【図３】第１の色成分値演算手段５の構成を示すブロック図である。
【図４】フレームメモリ４に記憶された前記Ａ／Ｄ変換器３の出力を模式的に示した模式図である。
【図５】判別値演算手段５の動作を説明するためのフローチャートである。
【図６】選択手段６の動作を説明するためのフローチャートである。
【図７】第１の色成分値演算手段７の動作を説明するためのフローチャートである。
【図８】第２の色成分値演算手段７の動作を説明するためのフローチャートである。
【図９】選択手段において条件１〜８を設定する理由を説明するための説明図である。
【図１０】注目画素近傍において既知成分値の変動が小さい場合における前記未知成分値の変動を模式的に示した模式図である。
【図１１】Ｂ画素に対するＲ成分値を演算する場合において選択する色成分値を説明するための説明図である。
【図１２】Ｇ画素を注目画素としてＲ成分値を演算する場合に選択する色成分値に対応する画素を模式的に示した模式図である。
【図１３】この発明の実施の形態２における色成分演算装置を適用した撮像装置の構成を示すブロック図である。
【図１４】第１の色成分値演算手段１３の構成を示すブロック図である。
【図１５】相関方向判定手段１１の動作を説明するためのフローチャートである。
【図１６】判別値演算手段１２の動作を説明するためのフローチャートである。
【図１７】第１の色成分値演算手段１３の動作を説明するためのフローチャートである。
【図１８】第２の色成分値演算手段１４の動作を説明するためのフローチャートである。
【図１９】フレームメモリ４に記憶された色成分値の具体例を模式的に示す模式図である。
【図２０】実施の形態２における色成分演算装置において得られる色成分値を示す図である。
【図２１】実施の形態１または２における色成分演算装置において、色成分値の演算を行なう順序の一例を説明するための説明図である。
【符号の説明】
【０１７７】
１  レンズ、２  二次元撮像素子、３  Ａ／Ｄ変換器、４  フレームメモリ、５，１２  判別値演算手段、６  選択手段、７，１３  第１の色成分値演算手段、８，１４  第２の色成分値演算手段、９  制御手段、１０  ＲＧＢ信号出力手段、１１  相関方向判定手段、７１，１３１  第１の平均値演算手段、７２，１３２  第２の平均値演算手段、７３  信号生成手段、１００，２００  色成分値演算装置。
【図１】
2006025119.tif 000003
【図２】
2006025119.tif 000004
【図３】
2006025119.tif 000005
【図４】
2006025119.tif 000006
【図５】
2006025119.tif 000007
【図６】
2006025119.tif 000008
【図７】
2006025119.tif 000009
【図８】
2006025119.tif 000010
【図９】
2006025119.tif 000011
【図１０】
2006025119.tif 000012
【図１１】
2006025119.tif 000013
【図１２】
2006025119.tif 000014
【図１３】
2006025119.tif 000015
【図１４】
2006025119.tif 000016
【図１５】
2006025119.tif 000017
【図１６】
2006025119.tif 000018
【図１７】
2006025119.tif 000019
【図１８】
2006025119.tif 000020
【図１９】
2006025119.tif 000021
【図２０】
2006025119.tif 000022
【図２１】
2006025119.tif 000023