(57)【特許請求の範囲】
【請求項１】
各画素で感知した色信号に関する情報を有する単板式イメージセンサの出力データを受信して貯蔵するラインメモリモジュールと、
前記イメージセンサの出力データ及び前記ラインメモリモジュールの出力データを受信し、受信した前記出力データをクロック信号を利用して所定時間遅延させた後で出力する遅延モジュールと、
この遅延モジュールの出力データを受信し、遅延モジュールの出力データを利用して、求めようとする画素のＲ、Ｇ及びＢ成分に対するエッジ成分を定義する複数の方向性係数の値を選択して出力する方向性係数値選択器と、
前記遅延モジュールの出力データを受信し、前記方向性係数値選択器の出力データに応答して受信した遅延モジュールの出力データに補間を実施してＧ成分を有する画素のＲ成分及びＢ成分を求め、Ｒ成分を有する画素のＧ成分及びＢ成分を求め、Ｂ成分を有する画素のＧ成分及びＲ成分を求める適応補間器とを具備し、
前記方向性係数値選択器は、
色成分を求めようとする任意の画素のＲ成分、Ｇ成分及びＢ成分に対する水平方向及び／または垂直方向及び／または対角線方向のエッジ成分が存在するか否かを判断し、存在するエッジ成分の程度を計算する複数の色成分演算部を具備する演算部と、
前記演算部の出力データを複数の臨界値と比較して複数の前記方向性係数の値を決定する比較決定器とを具備し、
前記複数の色成分演算部は、
色成分を求めようとする任意の画素が既に有している色成分としてＲ成分またはＢ成分を有する場合にＧ成分のエッジ成分を求める第１色成分演算部と、
色成分を求めようとする任意の画素が有する色成分が何なのかによって、前記任意の画素が有する色成分の水平エッジ成分を求めるための第２色成分演算部と、
色成分を求めようとする任意の画素が有する色成分が何なのかによって、前記任意の画素が有する色成分の垂直エッジ成分を求めるための第３色成分演算部と、
を具備することを特徴とするイメージセンサ出力データ処理装置。
【請求項２】
前記ラインメモリモジュールは、
前記イメージセンサの出力データを貯蔵する第１ラインメモリと、
この第１ラインメモリの出力データを貯蔵する第２ラインメモリと、
この第２ラインメモリの出力データを貯蔵する第３ラインメモリと、
この第３ラインメモリの出力データを貯蔵する第４ラインメモリとを具備することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項３】
前記遅延モジュールは、
前記クロック信号によって動作し、直列連結された複数のシフトレジスタを具備して前記イメージセンサの出力データを遅延させる遅延ブロックを複数具備することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項４】
前記直列連結された複数のシフトレジスタは、
各々４つであることを特徴とする請求項３に記載のイメージセンサ出力データ処理装置。
【請求項５】
前記第１色成分演算部は、色成分を求めようとする任意の画素が既に有している色成分としてＧ成分を有する場合には演算を遂行しないことを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項６】
前記第１色成分演算部は、
色成分を求めようとする任意の画素を基準に、水平方向に増加するか減少するＧ成分の絶対値（以下、Ｇ成分の水平傾斜成分の絶対値という）及び前記画素を基準に、垂直方向に増加するか減少するＧ成分の絶対値（以下、Ｇ成分の垂直傾斜成分の絶対値という）の差を計算することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項７】
前記第１色成分演算部は、
任意の画素（ｉ,ｊ）（ｉ及びｊは整数）のＧ成分をＧiｊとすれば、
Ｇ（i＋１）ｊ及びＧ（i−１）ｊの差（水平成分）の絶対値を求める第１機能ブロックと、
Ｇ（i＋１）及びＧ（i−１）の差（垂直成分）の絶対値を求める第２機能ブロックと、
前記第１機能ブロック及び前記第２機能ブロックの出力信号の差を求める第１減算器とを具備することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項８】
前記第２色成分演算部は、
色成分を求めようとする任意の画素がＲ成分を有している時、Ｒ成分の左側傾斜成分の絶対値及びＲ成分の右側傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＧ成分を有している時、Ｇ成分の左側傾斜成分の絶対値及びＧ成分の右側傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＢ成分を有している時、Ｂ成分の左側傾斜成分の絶対値及びＢ成分の右側傾斜成分の絶対値の差を計算し、
前記第３色成分演算部は、
色成分を求めようとする任意の画素がＲ成分を有している時、Ｒ成分の上部傾斜成分の絶対値及びＲ成分の下部傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＧ成分を有している時、Ｇ成分の上部傾斜成分の絶対値及びＧ成分の下部傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＢ成分を有している時、Ｂ成分の上部傾斜成分の絶対値及びＢ成分の下部傾斜成分の絶対値の差を計算することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項９】
任意の画素（ｉ,ｊ）（ｉ及びｊは整数）のＲ成分をＲｉｊ、Ｇ成分をＧｉｊ及びＢ成分をＢｉｊとすれば、
前記第２色成分演算部は、
Ｒｉｊ及びＲｉ（ｊ＋２）の差の絶対値を求めるか、Ｇｉｊ及びＧｉ（ｊ＋２）の差の絶対値を求めるか、Ｂｉｊ及びＢｉ（ｊ＋２）の差の絶対値を求める第３機能ブロックと、
Ｒｉ（ｊ−２）及びＲｉｊの差の絶対値を求めるか、Ｇｉ（ｊ−２）及びＧｉｊの差の絶対値を求めるか、Ｂｉ（ｊ−２）及びＢｉｊの差の絶対値を求める第４機能ブロックと、
前記第３機能ブロック及び前記第４機能ブロックの出力信号の差を求める第２減算器とを具備し、
前記第３色成分演算部は、
Ｒｉｊ及びＲ（ｉ＋２）ｊの差の絶対値を求めるか、Ｇｉｊ及びＧ（ｉ＋２）ｊの差の絶対値を求めるか、Ｂｉｊ及びＢ（ｉ＋２）ｊの差の絶対値を求める第５機能ブロックと、
Ｒ（ｉ−２）ｊ及びＲｉｊの差の絶対値を求めるか、Ｇ（ｉ−２）ｊ及びＧｉｊの差の絶対値を求めるか、Ｂ（ｉ−２）ｊ及びＢｉｊの差の絶対値を求める第６機能ブロックと、
前記第５機能ブロック及び前記第６機能ブロックの出力信号の差を求める第３減算器とを具備することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項１０】
前記比較決定器は、
前記色成分演算部の出力が負の臨界値よりは大きくて正の臨界値よりは小さい場合には任意の方向性係数を第１状態値に選択し、負の臨界値より小さい場合には前記任意の方向性係数を第２状態値に選択し、正の臨界値より大きい場合には前記任意の方向性係数を第３状態値に選択することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項１１】
前記第１臨界値ないし第３臨界値は、
４より大きくて２０よりは小さな整数であることを特徴とする請求項１０に記載のイメージセンサ出力データ処理装置。
【請求項１２】
前記第１状態値は、
１／２であり、
第２状態値は、
１であり、
第３状態値は、
０であることを特徴とする請求項１０に記載のイメージセンサ出力データ処理装置。
【請求項１３】
前記適応補間器は、
前記遅延モジュール及び前記方向性係数値選択器の出力信号によって補間を遂行してＧ成分を出力するＧ成分補間器と、
前記遅延モジュール及び前記方向性係数値選択器の出力信号によって補間を遂行してＲ成分を出力するＲ成分補間器と、
前記遅延モジュール及び前記方向性係数値選択器の出力信号によって補間を遂行してＢ成分を出力するＢ成分補間器とを具備することを特徴とする請求項１に記載のイメージセンサ出力データ処理装置。
【請求項１４】
前記Ｇ成分補間器は、
前記遅延モジュールの出力信号のうち複数のＧ成分を受信して演算を行ない、前記方向性係数値選択器の出力信号によって前記演算結果を選択して出力する低域通過フィルタ成分計算器と、
前記遅延モジュールの出力信号のうち複数のＲ成分またはＢ成分を受信して演算を行ない、前記方向性係数値選択器の出力信号によって前記演算結果を選択して出力する高域通過フィルタ成分計算器と、
前記低域通過フィルタ成分計算器の出力信号及び前記高域通過フィルタ成分計算器の出力信号を論理和する加算器とを具備することを特徴とする請求項１３に記載のイメージセンサ出力データ処理装置。
【請求項１５】
前記低域通過フィルタ成分計算器は、
求めようとする画素（ｉ,ｊ）に対して、
Ｇ（ｉ−１）ｊ及びＧ（ｉ＋１）ｊ、Ｇｉ（ｊ＋１）及びＧ（ｉ＋１）ｊ、Ｇｉ（ｊ＋１）及びＧ（ｉ−１）ｊ、Ｇｉ（ｊ−１）及びＧ（ｉ＋１）ｊ、Ｇｉ（ｊ−１）及びＧ（ｉ−１）ｊ、及びＧｉ（ｊ−１）及びＧｉ（ｊ＋１）を各々論理和して２で割る複数の論理ブロックを含む第１論理ブロック部と、
この第１論理ブロック部の出力信号のうち２つの出力信号を選択的に論理和して２で割る複数の論理ブロックを含む第２論理ブロック部と、
前記方向性係数値選択器の出力信号によって、前記Ｇ（ｉ−１）ｊ、Ｇｉ（ｊ−１）、Ｇｉ（ｊ＋１）、Ｇ（ｉ＋１）ｊ、前記第１論理ブロック部の出力信号及び前記第２論理ブロック部の出力信号のうち一つを選択して出力する第１選択器とを具備することを特徴とする請求項１４に記載のイメージセンサ出力データ処理装置。
【請求項１６】
前記高域通過フィルタ成分計算器は、
求めようとする画素（ｉ,ｊ）に対して、
Ｒｉｊ及びＲ（ｉ＋２）ｊの差またはＢｉｊ及びＢ（ｉ＋２）ｊの差、Ｒｉｊ及びＲ（ｉ−２）ｊの差またはＢｉｊ及びＢ（ｉ−２）ｊの差、Ｒｉｊ及びＲｉ（ｊ＋２）の差またはＢｉｊ及びＢｉ（ｊ＋２）の差、及びＲｉｊ及びＲｉ（ｊ−２）の差またはＢｉｊ及びＢｉ（ｊ−２）の差を各々２で割る複数の論理ブロックを具備する第３論理ブロック部と、
この第３論理ブロック部の出力信号を選択的に論理和して２で割る論理ブロックを複数具備する第４論理ブロック部と、
この第４論理ブロック部の出力信号を選択的に論理和して２で割る論理ブロックを複数具備する第５論理ブロック部と、
前記方向性係数値選択器の出力信号によって、前記第３論理ブロック部ないし前記第５論理ブロック部の出力信号のうち一つを選択する第２選択器とを具備することを特徴とする請求項１４に記載のイメージセンサ出力データ処理装置。
【請求項１７】
前記Ｒ成分補間器は、
そのＧ成分を知っている画素（ｉ,ｊ）のＲ成分を求めようとする場合、前記方向性係数値選択器の第２方向性係数の値に応答して
【数１】
0004127638.tif 000021
のうち一つを選択して出力し、
そのＢ成分を知っている画素（ｉ,ｊ）のＲ成分を求めようとする場合、前記画素（ｉ,ｊ）の対角線方向に存在する４つの画素の算術平均
【数２】
0004127638.tif 000022
を出力し、
前記Ｂ成分補間器は、そのＧ成分を知っている画素（ｉ,ｊ）のＢ成分を求めようとする場合、前記方向性係数値選択器の第３方向性係数の値に応答して
【数３】
0004127638.tif 000023
のうち一つを選択して出力し、
そのＲ成分を知っている画素（ｉ,ｊ）のＢ成分を求めようとする場合、前記画素（ｉ,ｊ）の対角線方向に存在する４つの画素の算術平均
【数４】
0004127638.tif 000024
を出力することを特徴をする請求項１３に記載のイメージセンサ出力データ処理装置。
【請求項１８】
入力される自然の風景を電子信号に変換するイメージセンサの出力データを処理する方法において、
前記イメージセンサの出力データを貯蔵する段階と、
貯蔵されたイメージセンサの出力データ及び現在入力されるイメージセンサの出力データを利用して求めようとする画素の色成分の強度を決定する少なくとも３つの方向性係数の値を選択する段階と、
この段階で選択された複数の方向性係数及び前記イメージセンサの出力データを利用して、Ｇ成分を有する画素のＲ成分及びＢ成分を求め、Ｒ成分を有する画素のＧ成分及びＢ成分を求め、Ｂ成分を有する画素のＧ成分及びＲ成分を求めるインタポレーション段階とを具備し、
前記少なくとも３つの方向性係数は、水平線、垂直線及び対角線を基準に一側平面のエッジ成分の程度を示す第１方向性係数、水平線を基準に一定の幅を有し、前記水平線を基準に左側成分、右側成分及び前記左側成分と右側成分全部を含む成分の程度を示す第２方向性係数及び、垂直線を基準に一定の幅を有し、前記垂直線を基準に上側成分、下側成分及び前記上側成分と下側成分両方を含む成分の程度を示す第３方向性係数であり、
前記３つの方向性係数の値を選択する段階は、
色成分を求めようとする任意の画素が既にＧ成分を有しているかどうかを判断する段階と、
色成分を求めようとする画素が既にＧ成分を有している場合、第２方向性係数の値及び第３方向性係数の値を順に選択する段階と、
色成分を求めようとする画素が有している色成分がＧ成分でない場合、前記画素を基準にしたＧ成分の水平傾斜成分の絶対値及び前記画素を基準にしたＧ成分の垂直傾斜成分の絶対値の差の絶対値が第１臨界値より小さいかどうかを比較する段階と、
前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差の絶対値が前記第１臨界値より小さい場合、前記第１方向性係数の値を第１状態値に定め、前記第２方向性係数の値を選択する段階と、
前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差が前記第１臨界値の負の値より小さいかどうかを判断する段階と、
前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差が前記第１臨界値の負の値より小さい場合、前記第１方向性係数の値を第２状態値に定め、前記第２方向性係数の値を選択する段階と、
前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差が前記第１臨界値の正の値より大きい場合、前記第１方向性係数の値を第３状態値に定める段階と、
前記第１方向性係数の値が前記第１状態または第３状態値に決まった場合、引続き前記第３方向性係数の値を選択する段階とを具備することを特徴とするイメージセンサ出力データ処理方法。
【請求項１９】
前記イメージセンサの出力データを貯蔵する段階は、
前記イメージセンサの出力データを所定の単位に区分して、１単位ずつ貯蔵するラインメモリを具備して少なくとも４単位のデータを貯蔵し、
前記所定の１単位は、
ベイヤアレイ構造で一つのラインであることを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項２０】
前記Ｇ成分の水平成分の絶対値及び前記Ｇ成分の垂直成分の絶対値の差は、
求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、
数式｜Ｇi(j+1)−Ｇi(j−1)｜−｜Ｇ(i−1)j−Ｇ(i+1)j｜で表示され、
ここでｉ及びｊは整数であることを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項２１】
求めようとする画素が既にＧ成分を有している場合に前記第２方向性係数の値及び第３方向性係数の値を順に選択する段階は、
前記画素を基準に、左側の画素が水平方向に増加するか減少するＧ成分の絶対値（以下、Ｇ成分の左側傾斜成分の絶対値という）及び前記画素を基準に右側の画素が水平方向に増加するか減少するＧ成分の絶対値（以下、Ｇ成分の右側傾斜成分の絶対値という）の差の絶対値が第２臨界値より小さいかどうかを比較する段階と、
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差の絶対値が前記第２臨界値より小さい場合、前記第２方向性係数の値を前記第１状態値に定める段階と、
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さいかどうかを比較する段階と、
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さい場合、前記第２方向性係数の値を前記第２状態値に定める段階と、
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差が前記第２臨界値より大きい場合、前記第２方向性係数の値を前記第３状態値に定める段階と、
前記段階で決まった第２方向性係数の値に基づいて、前記画素を基準に、上部の画素が垂直方向に増加するか減少するＧ成分の絶対値（以下、Ｇ成分の上部傾斜成分の絶対値という）及び前記画素を基準に下部の画素が垂直方向に増加するか減少するＧ成分の絶対値（以下、Ｇ成分の下部傾斜成分の絶対値という）の差の絶対値が第３臨界値より小さいかどうかを比較する段階と、
前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差の絶対値が前記第３臨界値より小さい場合、前記第３方向性係数の値を前記第１状態値に定める段階と、
前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さいかどうかを比較する段階と、
前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さい場合、前記第３方向性係数の値を前記第２状態値に定める段階と、
前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差が前記二つの比較段階のうちどこにも属していない場合、前記第３方向性係数の値を前記第３状態値に定める段階とを具備することを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項２２】
求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側成分の絶対値の差は、
数式｜Ｇij−Ｇi(j−2)｜−｜Ｇij−Ｇi(j+2)｜で表示され、
前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差は、
数式｜Ｇij−Ｇ(i−2)j｜−｜Ｇij−Ｇ(i+2)j｜で表示され、
ここでｉ及びｊは整数であることを特徴とする請求項２１に記載のイメージセンサ出力データ処理方法。
【請求項２３】
前記第１方向性係数の値を第２状態値に定め、前記第２方向性係数の値を選択する段階は、
前記画素が有している色成分がＲ成分であるかどうかを判断する段階と、
前記画素がＲ成分を有している場合、前記画素を基準に、左側の画素が水平方向に増加するか減少するＲ成分の絶対値（以下、Ｒ成分の左側傾斜成分の絶対値という）及び前記画素を基準に右側の画素が水平方向に増加するか減少するＲ成分の絶対値（以下、Ｒ成分の右側傾斜成分の絶対値という）の差の絶対値が第２臨界値より小さいかどうかを比較する段階と、
前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差の絶対値が前記第２臨界値より小さい場合、前記第２方向性係数の値を前記第１状態値に定める段階と、
前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さいかどうかを比較する段階と、
前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さい場合、前記第２方向性係数の値を前記第２状態値に定める段階と、
前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差が前記第２臨界値より大きい場合、前記第２方向性係数の値を前記第３状態値に定める段階と、
前記画素が有している色成分がＲ成分でない場合、前記画素を基準に、左側の画素が水平方向に増加するか減少するＢ成分の絶対値（以下、Ｂ成分の左側傾斜成分の絶対値という）及び前記画素を基準に右側の画素が水平方向に増加するか減少するＢ成分の絶対値（以下、Ｂ成分の右側傾斜成分の絶対値という）の差の絶対値が第２臨界値の絶対値より小さいかどうかを比較する段階と、
前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差の絶対値が前記第２臨界値の絶対値より小さい場合、前記第２方向性係数の値を前記第１状態値に定める段階と、
前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さいかどうかを比較する段階と、
前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さい場合、前記第２方向性係数の値を前記第２状態値に定める段階と、
前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差が前記第２臨界値より大きい場合、前記第２方向性係数の値を前記第３状態値に定める段階とを具備することを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項２４】
前記Ｒ値の左側傾斜成分の絶対値及び前記Ｒ値の右側成分の絶対値の差は、
求めようとする画素（ｉ,ｊ）のＲ値をＲｉｊとすれば、
数式｜Ｒij−Ｒi(j−2)｜−｜Ｒij−Ｒi(j+2)｜で表示され、
前記Ｂ値の左側傾斜成分の絶対値及び前記Ｂ値の右側成分の絶対値の差は、
求めようとする画素（ｉ,ｊ）のＢ値をＢｉｊとすれば、
数式｜Ｂij−Ｂi(j−2)｜−｜Ｂij−Ｂi(j+2)｜で表示され、
ここでｉ及びｊは整数であることを特徴とする請求項２３に記載のイメージセンサ出力データ処理方法。
【請求項２５】
前記第１方向性係数の値が前記第１状態または第３状態値に決まった場合、引続き前記第３方向性係数の値を選択する段階は、
前記画素に対する色成分がＲ成分であるかどうかを判断する段階と、
前記画素の色成分がＲ成分である場合、前記画素を基準に、上部の画素が垂直方向に増加するか減少するＲ成分の絶対値（以下、Ｒ成分の上部傾斜成分の絶対値という）及び前記画素を基準に下部の画素が垂直方向に増加するか減少するＲ成分の絶対値（以下、Ｒ成分の下部傾斜成分の絶対値という）の差の絶対値が第３臨界値より小さいかどうかを比較する段階と、
前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差の絶対値が前記第３臨界値より小さい場合、前記第３方向性係数の値を前記第１状態値に定める段階と、
前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さいかどうかを比較する段階と、
前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さい場合、前記第３方向性係数の値を前記第２状態値に定める段階と、
前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差が前記第３臨界値より大きい場合、前記第３方向性係数の値を前記第３状態値に定める段階と、
前記画素の色成分がＲ成分でない場合、前記画素を基準に、上部の画素が垂直方向に増加するか減少するＢ成分の絶対値（以下、Ｂ成分の上部傾斜成分の絶対値という）及び前記画素を基準に下部の画素が垂直方向に増加するか減少するＢ成分の絶対値（以下、Ｂ成分の下部傾斜成分の絶対値という）の差の絶対値が第３臨界値より小さいかどうかを比較する段階と、
前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差の絶対値が前記第３臨界値より小さい場合、前記第３方向性係数の値を前記第１状態値に定める段階と、
前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さいかどうかを比較する段階と、
前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さい場合、前記第３方向性係数の値を前記第２状態値に定める段階と、
前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差が前記二つの比較段階のうちどこにも属していない場合、前記第３方向性係数の値を前記第３状態値に定める段階とを具備することを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項２６】
前記Ｒ値の上部傾斜成分の絶対値及び前記Ｒ値の下部傾斜成分の絶対値の差は、
求めようとする画素（ｉ,ｊ）のＲ値をＲｉｊとすれば、
数式｜Ｒij−Ｒ(i−2)j｜−｜Ｒij−Ｒ(i+2)j｜で表示され、
前記Ｂ値の上部傾斜成分の絶対値及び前記Ｂ値の下部傾斜成分の絶対値の差は、
求めようとする画素（ｉ,ｊ）のＢ値をＢｉｊとすれば、
数式｜Ｂij−Ｂ(i−2)j｜−｜Ｂij−Ｂ(i+2)j｜で表示され、
ここでｉ及びｊは整数であることを特徴とする請求項２５に記載のイメージセンサ出力データ処理方法。
【請求項２７】
前記第１状態値は１／２であり、
前記第２状態値は１であり、
前記第３状態値は０であることを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項２８】
前記第１臨界値ないし前記第３臨界値は、
４より大きくて２０より小さな整数であることを特徴とする請求項１８、２１、２３及び請求項２５のうちいずれか一項に記載のイメージセンサ出力データ処理方法。
【請求項２９】
前記インタポレーション段階は、
前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＲ成分に選択する段階と、
前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＧ成分に選択する段階と、
前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＢ成分に選択する段階とを具備することを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【請求項３０】
前記イメージセンサ出力データ処理方法は、
少なくとも一つ以上の状態値をさらに具備し、
前記状態値は、傾斜度が相異なる対角線成分を有するエッジ、傾斜度が相異なる水平成分を有するエッジ及び傾斜度が相異なる垂直成分を有するエッジの傾斜度を示すのに使われることを特徴とする請求項１８に記載のイメージセンサ出力データ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は電子カメラに係り、特に単板式カラー電子カメラの映像センサから出力されるデジタルデータを複数の方向性係数を利用して処理する装置及び方法に関する。
【０００２】
【従来の技術】
入力される映像を電子信号に変換する映像センサは、センサ上に区分された各々の領域、すなわち、画素の規則的なパターンによって変わる光の強度を感知する。前記センサ上にはカラーフィルタアレイ（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ、以下、ＣＦＡ）が設けられていて、前記センサの各々の画素は前記ＣＦＡを通過したカラー信号の強度を感知できる。
【０００３】
カラーを電子信号に変換する場合において、Ｒ、Ｇ及びＢを各々感知する３枚のカラープレーンで感知された映像データを同時に処理することが最も望ましい。なぜなら、前記３枚のカラープレーンで感知された映像データを適当に組合わせれば、高品質のカラー映像を作れるからである。
【０００４】
前記３つのカラープレーンを全部使用せず、３つの色を全部感知できる一つのプレーンだけを使用する場合、これを単板式（ｓｉｎｇｌｅ ｓｅｎｓｏｒ）という。一般に単板式ＣＦＡは、各画素で一つの色を感知するためのカラーフィルタの正規パターンの構造よりなる。単板式ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳイメージセンサは入力される自然風景を感知する装置であって、入力された自然風景に対応する各々の画素で感知した色の強度に関する情報を含むデジタルデータを出力する。前記単板式ＣＣＤまたはＣＭＯＳイメージセンサから出力されるビデオデータは、Ｒ、Ｇ及びＢのうちいずれか一つのカラー信号に関する情報だけを示すデータである。したがって、単板式イメージセンサのデータは、表示されていない残りの二つの色に関する情報を補間技法を利用して生成せねばならない。
【０００５】
一つの画素に関するカラー情報データが、一つの画素のカラーを示す３カラーの情報を全部有するデータではなく、前記３種類のカラー情報のうちいずれか一つのカラー情報に関するデータを示すデータ構造をベイヤアレイ構造という。
【０００６】
【発明が解決しようとする課題】
図１は、ベイヤアレイを示すダイヤグラムである。
図１に示されたベイヤアレイ構造において、画素の各々に対するＲ、Ｇ及びＢの値を求めるために色々な補間技法が使われうるが、選択される補間技法によってシステムの性能に大きい差が発生する。
【０００７】
まず、１次フィルタリング方式として補間技法を使用する方法を説明する。
線形補間技法を使用する場合、図１に示されたＢ成分に関する情報を有する画素（１,１）のＧ成分は次のように表現される。
【数５】
0004127638.tif 000002
【０００８】
しかし、前記線形補間技法は、映像が複雑な部分、例えば、映像内で空間的にエッジがある領域では画質が劣化する短所がある。ここで空間的に存在するエッジとは、例えば、白紙上にコインが置かれている場合、紙とコインの縁部との間には信号の連続性がなくて空間的エッジがあるという。
【０００９】
前記短所を解決するために、エッジ成分を水平方向と垂直方向に区分した後、エッジ傾斜度が小さい方向に補間技法を適用する方法が提案された。例えば、図１に示された画素（１,１）のＧ成分を求める時、水平方向のエッジ傾斜度が垂直方向のエッジ傾斜度より小さければ、
【数６】
0004127638.tif 000003
反対に垂直方向のエッジ傾斜度が水平方向のエッジ傾斜度より小さければ、
【数７】
0004127638.tif 000004
のように求める。
しかし、前記方法も対角線エッジ成分が存在する部分では画質が劣化する短所がある。
【００１０】
前記２つの方法の短所を改善するために、２次のラプラシアンフィルタリングを利用する方法が提案された。
このラプラシアンフィルタリング方式は、映像の局部領域では色信号間の差が一定である（Ｇi−Ｒi＝const1, Ｇi−Ｂi＝const2, 及びＢi−Ｒi＝const3, ここでｉは画素の位置を示す）という仮定を前提として、新しい補間技法を適用させることに特徴がある。例えば、水平方向のエッジ成分が少ないと仮定すれば、図１に示された画素（２,２）のＧ成分は、
【数８】
0004127638.tif 000005
のように求められる。
【００１１】
一般映像を具現する時、前記方式はハードウェアの構成が簡単で性能も優秀な長所があるが、合成映像を具現するなど前記仮定が合っていない一定な場合の対角線エッジでは既存の他の方式と同じく画質の劣化を解決できなかった。
【００１２】
したがって、本発明は、電子カメラの映像センサから出力されるデジタルデータを複数の方向性係数を利用して処理するイメージセンサ出力データ処理装置を提供することを目的とする。
さらに、本発明は、電子カメラの映像センサから出力されるデジタルデータを複数の方向性係数を利用して処理するイメージセンサ出力データ処理方法を提供することを他の目的とする。
【００１３】
【課題を解決するための手段】
本発明のイメージセンサ出力データ処理装置は、各画素で感知した色信号に関する情報を有する単板式イメージセンサの出力データを受信して貯蔵するラインメモリモジュールと、前記イメージセンサの出力データ及び前記ラインメモリモジュールの出力データを受信し、受信した前記出力データをクロック信号を利用して所定時間遅延させた後で出力する遅延モジュールと、この遅延モジュールの出力データを受信し、遅延モジュールの出力データを利用して、求めようとする画素のＲ、Ｇ及びＢ成分に対するエッジ成分を定義する複数の方向性係数の値を選択して出力する方向性係数値選択器と、前記遅延モジュールの出力データを受信し、前記方向性係数値選択器の出力データに応答して受信した遅延モジュールの出力データに補間を実施してＧ成分を有する画素のＲ成分及びＢ成分を求め、Ｒ成分を有する画素のＧ成分及びＢ成分を求め、Ｂ成分を有する画素のＧ成分及びＲ成分を求める適応補間器とを具備する。
【００１４】
前記ラインメモリモジュールは、前記イメージセンサの出力データを貯蔵する第１ラインメモリと、この第１ラインメモリの出力データを貯蔵する第２ラインメモリと、この第２ラインメモリの出力データを貯蔵する第３ラインメモリと、この第３ラインメモリの出力データを貯蔵する第４ラインメモリとを具備する。
【００１５】
前記遅延モジュールは、前記クロック信号によって動作し、直列連結された複数のシフトレジスタを具備して前記イメージセンサの出力データを遅延させる第１遅延モジュールと、前記クロック信号によって動作し、直列連結された複数のシフトレジスタを具備して前記第１ラインメモリの出力データを遅延させる第２遅延モジュールと、前記クロック信号によって動作し、直列連結された複数のシフトレジスタを具備して前記第２ラインメモリの出力データを遅延させる第３遅延モジュールと、前記クロック信号によって動作し、直列連結された複数のシフトレジスタを具備して前記第３ラインメモリの出力データを遅延させる第４遅延モジュールと、前記クロック信号によって動作し、直列連結された複数のシフトレジスタを具備して前記第４ラインメモリの出力データを遅延させる第５遅延モジュールとを具備する。
前記直列連結された複数のシフトレジスタは、各々４つであることを特徴とする。
【００１６】
前記方向性係数値選択器は、色成分を求めようとする任意の画素のＲ成分、Ｇ成分及びＢ成分に対する水平方向及び／または垂直方向及び／または対角線方向のエッジ成分が存在するか否かを判断し、存在するエッジ成分の程度を計算する複数の色成分演算部を具備する演算部と、前記演算部の出力データを複数の臨界値と比較して複数の前記方向性係数の値を決定する比較決定器とを具備する。
【００１７】
前記複数の色成分演算部は、色成分を求めようとする任意の画素が既に有している色成分としてＲ成分またはＢ成分を有する場合にはＧ成分のエッジ成分を求め、Ｇ成分を有する場合には演算を遂行しない第１色成分演算部と、前記画素が既に有している色成分としてＲ成分を有する場合にはＲ成分の水平エッジ成分を求め、Ｇ成分を有する場合にはＧ成分の水平エッジ成分を求め、Ｂ成分を有する場合にはＢ成分の水平エッジ成分を求める第２色成分演算部と、前記画素が既に有している色成分としてＲ成分を有する場合にはＲ成分の垂直エッジ成分を求め、Ｇ成分を有する場合にはＧ成分の垂直エッジ成分を求め、Ｂ成分を有する場合にはＢ成分の垂直エッジ成分を求める第３色成分演算部とを具備する。
【００１８】
前記第１色成分演算部は、色成分を求めようとする任意の画素を基準にしたＧ成分の水平傾斜成分の絶対値及び前記画素を基準にしたＧ成分の垂直傾斜成分の絶対値の差を計算する。
【００１９】
前記第１色成分演算部は、任意の画素（ｉ,ｊ）（ｉ及びｊは整数）のＧ成分をＧiｊとすれば、Ｇ（i＋１）ｊ及びＧ（i-１）ｊの差（水平成分）の絶対値を求める第１機能ブロックと、Ｇ（i＋１）及びＧ（i-１）の差（垂直成分）の絶対値を求める第２機能ブロックと、前記第１機能ブロック及び前記第２機能ブロックの出力信号の差を求める第１減算器とを具備する。
【００２０】
前記第２色成分演算部は、色成分を求めようとする任意の画素がＲ成分を有している時、前記画素を基準にしたＲ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＲ成分の右側傾斜成分の絶対値の差を計算するか、色成分を求めようとする任意の画素がＧ成分を有している時、前記画素を基準にしたＧ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＧ成分の右側傾斜成分の絶対値の差を計算するか、色成分を求めようとする任意の画素がＢ成分を有している時、前記画素を基準にしたＢ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＧ成分の右側傾斜成分の絶対値の差を計算する。
【００２１】
前記第２色成分演算部は、任意の画素（ｉ,ｊ）（ｉ及びｊは整数）のＲ成分をＲｉｊ、Ｇ成分をＧｉｊ及びＢ成分をＢｉｊとすれば、Ｒｉｊ及びＲｉ（ｊ＋２）の差の絶対値を求めるか、Ｇｉｊ及びＧｉ（ｊ＋２）の差の絶対値を求めるか、Ｂｉｊ及びＢｉ（ｊ＋２）の差の絶対値を求める第３機能ブロックと、Ｒｉ（ｊ-２）及びＲｉｊの差の絶対値を求めるか、Ｇｉ（ｊ-２）及びＧｉｊの差の絶対値を求めるか、Ｂｉ（ｊ-２）及びＢｉｊの差の絶対値を求める第４機能ブロックと、前記第３機能ブロック及び前記第４機能ブロックの出力信号の差を求める第２減算器とを具備する。
【００２２】
前記第３色成分演算部は、色成分を求めようとする任意の画素がＲ成分を有している時、前記画素を基準にしたＲ成分の上側傾斜成分の絶対値及び前記画素を基準にしたＲ成分の下側傾斜成分の絶対値の差を計算するか、色成分を求めようとする任意の画素がＧ成分を有している時、前記画素を基準にしたＧ成分の上側傾斜成分の絶対値及び前記画素を基準にしたＧ成分の下側傾斜成分の絶対値の差を計算する
か、色成分を求めようとする任意の画素がＢ成分を有している時、前記画素を基準にしたＢ成分の上側傾斜成分の絶対値及び前記画素を基準にしたＢ成分の下側傾斜成分の絶対値の差を計算する。
【００２３】
前記第３色成分演算部は、任意の画素（ｉ,ｊ）（ｉ及びｊは整数）のＲ成分をＲｉｊ、Ｇ成分をＧｉｊ、Ｂ成分をＢｉｊとすれば、Ｒｉｊ及びＲｉ（ｊ＋２）ｊの差の絶対値を求めるか、Ｇｉｊ及びＧｉ（ｊ＋２）ｊの差の絶対値を求めるか、Ｂｉｊ及びＢｉ（ｊ＋２）ｊの差の絶対値を求める第５機能ブロックと、Ｒ（ｉ-２）ｊ及びＲｉｊの差の絶対値を求めるか、Ｇ（ｉ-２）ｊ及びＧｉｊの差の絶対値を求めるか、Ｂ（ｉ-２）ｊ及びＢｉｊの差の絶対値を求める第６機能ブロックと、前記第５機能ブロック及び前記第６機能ブロックの出力信号の差を求める第３減算器とを具備する。
【００２４】
前記比較決定器は、前記第１色成分演算部の出力が負の第１臨界値よりは大きくて正の第１臨界値よりは小さい場合には第１方向性係数を第１状態値に選択し、前記第１色成分演算部の出力が負の第１臨界値より小さい場合には第１方向性係数を第２状態値に選択し、前記第１色成分演算部の出力が正の第１臨界値より大きい場合には第１方向性係数を第３状態値に選択する第１比較決定器と、前記第２色成分演算部の出力が負の第２臨界値よりは大きくて正の第２臨界値よりは小さい場合には第２方向性係数を第１状態値に選択し、前記第２色成分演算部の出力が負の第２臨界値より小さい場合には第２方向性係数を第２状態値に選択し、前記第２色成分演算部の出力が正の第２臨界値より大きい場合には第２方向性係数を第３状態値に選択する第２比較決定器と、前記第３色成分演算部の出力が負の第３臨界値よりは大きくて正の第３臨界値よりは小さい場合には第３方向性係数を第１状態値に選択し、前記第３色成分演算部の出力が負の第３臨界値より小さい場合には第３方向性係数を第２状態値に選択し、前記第３色成分演算部の出力が正の第３臨界値より大きい場合には第３方向性係数を第３状態値に選択する第３比較決定器とを備える。
前記第１臨界値ないし第３臨界値は、４より大きくて２０よりは小さな整数であることが望ましい。また、前記第１状態値は１／２であり、第２状態値は１であり、第３状態値は０であることが望ましい。
【００２５】
前記適応補間器は、前記遅延モジュール及び前記方向性係数値選択器の出力信号によって補間を遂行してＧ成分を出力するＧ成分補間器と、前記遅延モジュール及び前記方向性係数値選択器の出力信号によって補間を遂行してＲ成分を出力するＲ成分補間器と、前記遅延モジュール及び前記方向性係数値選択器の出力信号によって補間を遂行してＢ成分を出力するＢ成分補間器とを具備する。
【００２６】
前記Ｇ成分補間器は、前記遅延モジュールの出力信号のうち複数のＧ成分を受信して演算を行ない、前記方向性係数値選択器の出力信号によって前記演算結果を選択して出力する低域通過フィルタ成分計算器と、前記遅延モジュールの出力信号のうち複数のＲ成分またはＢ成分を受信して演算を行ない、前記方向性係数値選択器の出力信号によって前記演算結果を選択して出力する高域通過フィルタ成分計算器と、前記低域通過フィルタ成分計算器の出力信号及び前記高域通過フィルタ成分計算器の出力信号を論理和する加算器とを具備する。
【００２７】
前記低域通過フィルタ成分計算器は、求めようとする画素（ｉ,ｊ）に対して、Ｇ（ｉ-１）ｊ及びＧ（ｉ＋１）ｊを論理和して２で割る第１論理ブロックと、Ｇｉ（ｊ＋１）及びＧ（ｉ＋１）ｊを論理和して２で割る第２論理ブロックと、Ｇｉ（ｊ＋１）及びＧ（ｉ-１）ｊを論理和して２で割る第３論理ブロックと、Ｇｉ（ｊ-１）及びＧ（ｉ＋１）ｊを論理和して２で割る第４論理ブロックと、Ｇｉ（ｊ-１）及びＧ（ｉ-１）ｊを論理和して２で割る第５論理ブロックと、Ｇｉ（ｊ-１）及びＧｉ（ｊ＋１）を論理和して２で割る第６論理ブロックと、前記第２論理ブロック及び前記第３論理ブロックの出力信号を論理和して２で割る第７論理ブロックと、前記第２論理ブロック及び前記第４論理ブロックの出力信号を論理和して２で割る第８論理ブロックと、前記第１論理ブロック及び前記第６論理ブロックの出力信号を論理和して２で割る第９論理ブロックと、前記第３論理ブロック及び前記第５論理ブロックの出力信号を論理和して２で割る第９論理ブロックと、前記第３論理ブロック及び前記第５論理ブロックの出力信号を論理和して２で割る第１０論理ブロックと、前記第４論理ブロック及び前記第５論理ブロックの出力信号を論理和して２で割る第１１論理ブロックと、前記方向性係数値選択器の出力信号によって、前記Ｇ（ｉ-１）ｊ、Ｇｉ（ｊ-１）、Ｇｉ（ｊ＋１）、Ｇ（ｉ＋１）ｊ、前記第１論理ブロック部の出力信号ないし第１１論理ブロック部の出力信号のうち一つを選択して出力する第１選択器とを具備する。
【００２８】
前記高域通過フィルタ成分計算器は、求めようとする画素（ｉ,ｊ）に対して、Ｒｉｊ及びＲ（ｉ＋２）ｊの差またはＢｉｊ及びＢ（ｉ＋２）ｊの差を２で割る第１２論理ブロックと、Ｒｉｊ及びＲ（ｉ-２）ｊの差またはＢｉｊ及びＢ（ｉ-２）ｊの差を２で割る第１３論理ブロックと、Ｒｉｊ及びＲｉ（ｊ＋２）の差またはＢｉｊ及びＢｉ（ｊ＋２）の差を２で割る第１４論理ブロックと、Ｒｉｊ及びＲｉ（ｊ-２）の差またはＢｉｊ及びＢｉ（ｊ-２）の差を２で割る第１５論理ブロックと、前記第１２論理ブロック及び前記第１３論理ブロックの出力信号を論理和して２で割る第１６論理ブロックと、前記第１２論理ブロック及び前記第１４論理ブロックの出力信号を論理和して２で割る第１７論理ブロックと、前記第１３論理ブロック及び前記第１４論理ブロックの出力信号を論理和して２で割る第１８論理ブロックと、前記第１２論理ブロック及び前記第１５論理ブロックの出力信号を論理和して２で割る第１９論理ブロックと、前記第１３論理ブロック及び前記第１５論理ブロックの出力信号を論理和して２で割る第２０論理ブロックと、前記第１４論理ブロック及び前記第１５論理ブロックの出力信号を論理和して２で割る第２１論理ブロックと、前記第１７論理ブロック及び前記第１８論理ブロックの出力信号を論理和して２で割る第２２論理ブロックと、前記第１７論理ブロック及び前記第１９論理ブロックの出力信号を論理和して２で割る第２３論理ブロックと、前記第１６論理ブロック及び前記第２１論理ブロックの出力信号を論理和して２で割る第２４論理ブロックと、前記第１８論理ブロック及び前記第２０論理ブロックの出力信号を論理和して２で割る第２５論理ブロックと、前記第１９論理ブロック及び前記第２０論理ブロックの出力信号を論理和して２で割る第２６論理ブロックと、前記方向性係数値選択器の出力信号によって、前記第１２論理ブロック部ないし前記第２６論理ブロック部の出力信号のうち一つを選択する第２選択器とを具備する。
【００２９】
前記Ｒ成分補間器は、そのＧ成分を知っている画素（ｉ,ｊ）のＲ成分を求めようとする場合、前記方向性係数値選択器の第２方向性係数の値に応答して
【数９】
0004127638.tif 000006
のうち一つを選択して出力し、
そのＢ成分を知っている画素（ｉ,ｊ）のＲ成分を求めようとする場合、前記画素（ｉ,ｊ）の対角線方向に存在する４つの画素の算術平均
【数１０】
0004127638.tif 000007
を出力する。
【００３０】
前記Ｂ成分補間器は、そのＧ成分を知っている画素（ｉ,ｊ）のＢ成分を求めようとする場合、前記方向性係数値選択器の第３方向性係数の値に応答して
【数１１】
0004127638.tif 000008
のうち一つを選択して出力し、
そのＲ成分を知っている画素（ｉ,ｊ）のＢ成分を求めようとする場合、前記画素（ｉ,ｊ）の対角線方向に存在する４つの画素の算術平均
【数１２】
0004127638.tif 000009
を出力する。
【００３１】
本発明のイメージセンサの出力データ処理方法は、入力される自然の風景を電子信号に変換するイメージセンサの出力データを処理する方法において、前記イメージセンサの出力データを貯蔵する段階と、貯蔵されたイメージセンサの出力データ及び現在入力されるイメージセンサの出力データを利用して求めようとする画素の色成分の強度を決定する少なくとも３つの方向性係数の値を選択する段階と、この段階で選択された複数の方向性係数及び前記イメージセンサの出力データを利用して、Ｇ成分を有する画素のＲ成分及びＢ成分を求め、Ｒ成分を有する画素のＧ成分及びＢ成分を求め、Ｂ成分を有する画素のＧ成分及びＲ成分を求めるインタポレーション段階とを具備し、前記少なくとも３つの方向性係数は、水平線、垂直線及び対角線を基準に一側平面のエッジ成分の程度を示す第１方向性係数、水平線を基準に一定の幅を有し、前記水平線を基準に左側成分、右側成分及び前記左側成分と右側成分全部を含む成分の程度を示す第２方向性係数及び、垂直線を基準に一定の幅を有し、前記垂直線を基準に上側成分、下側成分及び前記上側成分と下側成分両方を含む成分の程度を示す第３方向性係数である。
【００３２】
前記イメージセンサの出力データを貯蔵する段階は、前記イメージセンサの出力データを所定の単位に区分して、１単位ずつ貯蔵するラインメモリを具備して少なくとも４単位のデータを貯蔵し、前記所定の１単位は、ベイヤアレイ構造で一つのラインであることが望ましい。
【００３３】
前記３つの方向性係数の値を選択する段階は、色成分を求めようとする任意の画素が既にＧ成分を有しているかどうかを判断する段階と、色成分を求めようとする画素が既にＧ成分を有している場合、第２方向性係数の値及び第３方向性係数の値を順に選択する段階と、色成分を求めようとする画素が有している色成分がＧ成分でない場合、前記画素を基準にしたＧ成分の水平傾斜成分の絶対値及び前記画素を基準にしたＧ成分の垂直傾斜成分の絶対値の差の絶対値が第１臨界値より小さいかどうかを比較する段階と、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差の絶対値が前記第１臨界値より小さい場合、前記第１方向性係数の値を第１状態値に定め、前記第２方向性係数の値を選択する段階と、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差が前記第１臨界値の負の値より小さいかどうかを判断する段階と、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差が前記第１臨界値の負の値より小さい場合、前記第１方向性係数の値を第２状態値に定め、前記第２方向性係数の値を選択する段階と、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差が前記第１臨界値の正の値より大きい場合、前記第１方向性係数の値を第３状態値に定める段階と、前記第１方向性係数の値が前記第１状態または第３状態値に決まった場合、引続き前記第３方向性係数の値を選択する段階とを具備する。
【００３４】
前記Ｇ成分の水平成分の絶対値及び前記Ｇ成分の垂直成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、数式｜Ｇi(j+1)−Ｇi(j-1)｜−｜Ｇ(i-1)j−Ｇ(i+1)j｜で表示され、ここでｉ及びｊは整数であることが望ましい。
【００３５】
求めようとする画素が既にＧ成分を有している場合に前記第２方向性係数の値を選択する段階は、前記画素を基準にしたＧ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＧ成分の右側傾斜成分の絶対値の差の絶対値が第２臨界値より小さいかどうかを比較する段階と、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差の絶対値が前記第２臨界値より小さい場合、前記第２方向性係数の値を前記第１状態値に定める段階と、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さいかどうかを比較する段階と、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さい場合、前記第２方向性係数の値を前記第２状態値に定める段階と、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差が前記第２臨界値より大きい場合、前記第２方向性係数の値を前記第３状態値に定める段階とを備える。
【００３６】
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、数式｜Ｇij−Ｇi(j-2)｜−｜Ｇij−Ｇi(j+2)｜で表示され、ここでｉ及びｊは整数であることが望ましい。
【００３７】
求めようとする画素が既にＧ成分を有している場合に前記第３方向性係数の値を選択する段階は、前記画素を基準にしたＧ成分の上部傾斜成分の絶対値及び前記画素を基準にしたＧ成分の下部傾斜成分の絶対値の差の絶対値が第３臨界値より小さいかどうかを比較する段階と、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差の絶対値が前記第３臨界値より小さい場合、前記第３方向性係数の値を前記第１状態値に定める段階と、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さいかどうかを比較する段階と、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さい場合、前記第３方向性係数の値を前記第２状態値に定める段階と、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差が前記二つの比較段階のうちどこにも属していない場合、前記第３方向性係数の値を前記第３状態値に定める段階とを具備する。
【００３８】
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、数式｜Ｇij−Ｇ(i-2)j｜−｜Ｇij−Ｇ(i+2)j｜で表示され、ここでｉ及びｊは整数であることが望ましい。
【００３９】
色成分を求めようとする画素が有している色成分がＧ成分でない場合に前記第２方向性係数の値を選択する段階は、前記画素が有している色成分がＲ成分であるかどうかを判断する段階と、前記画素がＲ成分を有している場合、前記画素を基準にしたＲ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＲ成分の右側傾斜成分の絶対値の差の絶対値が第２臨界値より小さいかどうかを比較する段階と、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差の絶対値が前記第２臨界値より小さい場合、前記第２方向性係数の値を前記第１状態値に定める段階と、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さいかどうかを比較する段階と、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さい場合、前記第２方向性係数の値を前記第２状態値に定める段階と、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差が前記第２臨界値より大きい場合、前記第２方向性係数の値を前記第３状態値に定める段階と、前記画素が有している色成分がＲ成分でない場合、前記画素を基準にしたＢ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＢ成分の右側傾斜成分の絶対値の差の絶対値が第２臨界値の絶対値より小さいかどうかを比較する段階と、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差の絶対値が前記第２臨界値の絶対値より小さい場合、前記第２方向性係数の値を前記第１状態値に定める段階と、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さいかどうかを比較する段階と、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差が前記第２臨界値の負の値より小さい場合、前記第２方向性係数の値を前記第２状態値に定める段階と、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差が前記第２臨界値より大きい場合、前記第２方向性係数の値を前記第３状態値に定める段階とを具備する。
【００４０】
前記Ｒ値の左側傾斜成分の絶対値及び前記Ｒ値の右側成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＲ値をＲｉｊとすれば、数式｜Ｒij−Ｒi(j-2)｜−｜Ｒij−Ｒi(j+2)｜で表示され、前記Ｂ値の左側傾斜成分の絶対値及び前記Ｂ値の右側成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＢ値をＢｉｊとすれば、数式｜Ｂij−Ｂi(j-2)｜−｜Ｂij−Ｂi(j+2)｜で表示され、 ここでｉ及びｊは整数であることが望ましい。
【００４１】
色成分を求めようとする画素が有している色成分がＧ成分でない場合に前記第３方向性係数の値を選択する段階は、前記画素に対する色成分がＲ成分であるかどうかを判断する段階と、前記画素の色成分がＲ成分である場合、前記画素を基準にしたＲ成分の上部傾斜成分の絶対値及び前記画素を基準にしたＲ成分の下部傾斜成分の絶対値の差の絶対値が第３臨界値より小さいかどうかを比較する段階と、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差の絶対値が前記第３臨界値より小さい場合、前記第３方向性係数の値を前記第１状態値に定める段階と、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さいかどうかを比較する段階と、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さい場合、前記第３方向性係数の値を前記第２状態値に定める段階と、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差が前記第３臨界値より大きい場合、前記第３方向性係数の値を前記第３状態値に定める段階と、前記画素の色成分がＲ成分でない場合、前記画素を基準にしたＢ成分の上部傾斜成分の絶対値及び前記画素を基準にしたＢ成分の下部傾斜成分の絶対値の差の絶対値が第３臨界値より小さいかどうかを比較する段階と、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差の絶対値が前記第３臨界値より小さい場合、前記第３方向性係数の値を前記第１状態値に定める段階と、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さいかどうかを比較する段階と、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差が前記第３臨界値の負の値より小さい場合、前記第３方向性係数の値を前記第２状態値に定める段階と、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差が前記二つの比較段階のうちどこにも属していない場合、前記第３方向性係数の値を前記第３状態値に定める段階とを具備する。
【００４２】
前記Ｒ値の上部傾斜成分の絶対値及び前記Ｒ値の下部傾斜成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＲ値をＲｉｊとすれば、数式｜Ｒij−Ｒ(i-2)j｜−｜Ｒij−Ｒ(i+2)j｜で表示され、前記Ｂ値の上部傾斜成分の絶対値及び前記Ｂ値の下部傾斜成分の絶対値の差は、求めようとする画素（ｉ,ｊ）のＢ値をＢｉｊとすれば、数式｜Ｂij−Ｂ(i-2)j｜−｜Ｂij−Ｂ(i+2)j｜で表示され、ここでｉ及びｊは整数であることが望ましい。
【００４３】
前記第１状態値は１／２であり、前記第２状態値は１であり、前記第３状態値は０であることが望ましい。前記第１臨界値ないし前記第３臨界値は、４より大きくて２０より小さな整数であることが望ましい。
【００４４】
前記インタポレーション段階は、前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＲ成分に選択する段階と、前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＧ成分に選択する段階と、前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＢ成分に選択する段階とを具備する。
【００４５】
前記イメージセンサ出力データ処理方法は、少なくとも一つ以上の状態値をさらに具備し、前記状態値は、傾斜度が相異なる対角線成分を有するエッジ、傾斜度が相異なる水平成分を有するエッジ及び傾斜度が相異なる垂直成分を有するエッジの傾斜度を示すのに使われる。
【００４６】
【発明の実施の形態】
以下、添付した図面を参照して本発明の望ましい実施形態を説明することによって、本発明を詳細に説明する。各図面において、同じ参照符号は同一部分を示す。
【００４７】
図２は本発明の一実施形態によるイメージセンサ出力データ処理装置を示すブロックダイヤグラムである。
図２を参照すれば、本発明によるイメージセンサ出力データ処理装置は、ラインメモリモジュール２０、遅延モジュール２５、方向性係数値選択器２６及び適応補間器２７を具備する。
【００４８】
ラインメモリモジュール２０は、各画素で感知した色信号に関する情報を有する単板式イメージセンサの出力データＩＮＰＵＴを受信して貯蔵する。遅延モジュール２５は、イメージセンサの出力データＩＮＰＵＴ及びラインメモリモジュール２０の出力データを受信し、受信した前記出力データをクロック信号ＣＬＯＣＫを利用して所定時間遅延させた後、出力する。
【００４９】
方向性係数値選択器２６は、遅延モジュール２５の出力データを受信し、遅延モジュール２５の出力データを利用して、求めようとする画素のＲ、Ｇ及びＢ成分に対するエッジ成分を定義する複数の方向性係数の値を選択して出力する。適応補間器２７は、遅延モジュール２５の出力データを受信し、方向性係数値選択器２６の出力データに応答して受信した遅延モジュールの出力データに補間を実施してＧ成分を有する画素のＲ成分及びＢ成分を求め、Ｒ成分を有する画素のＧ成分及びＢ成分を求め、Ｂ成分を有する画素のＧ成分及びＲ成分を求める。
【００５０】
ラインメモリモジュール２０は、イメージセンサの出力データＩＮＰＵＴを貯蔵する第１ラインメモリ２１、この第１ラインメモリ２１の出力データを貯蔵する第２ラインメモリ２２、この第２ラインメモリ２２の出力データを貯蔵する第３ラインメモリ２３及びこの第３ラインメモリ２３の出力データを貯蔵する第４ラインメモリ２４を具備する。
【００５１】
図３は、図２に示された遅延モジュール２５の内部回路図である。
図３を参照すれば、遅延モジュール２５は、第１遅延ブロック２５１ないし第５遅延ブロック２５５を具備する。
第１遅延ブロック２５１ないし第５遅延ブロック２５５は、クロック信号ＣＬＯＣＫによって動作し、直列連結された４つのシフトレジスタを具備する。第１遅延ブロック２５１は、イメージセンサの出力データＩＮＰＵＴを遅延させる。第２遅延ブロック２５２は、第１ラインメモリ２１の出力データを遅延させる。第３遅延ブロック２５３、第４遅延ブロック２５４及び第５遅延ブロック２５５は、各々第２ラインメモリ２２、第３ラインメモリ２３及び第４ラインメモリ２４の出力データを遅延させる。
【００５２】
図４は、図２に示された方向性係数値選択器２６の内部回路図である。
図４を参照すれば、方向性係数値選択器２６は、色成分を求めようとする任意の画素のＲ成分、Ｇ成分及びＢ成分に対する水平方向及び／または垂直方向及び／または対角線方向のエッジ成分が存在するかどうかを判断し、存在するエッジ成分の程度を計算する演算部２６１及びこの演算部２６１の出力データを少なくとも３つの臨界値と比較して少なくとも３つの前記方向性係数の値を決定する比較決定器２６３を具備する。
【００５３】
演算部２６１は、色成分を求めようとする任意の画素が既に有している色成分が何かによってエッジ成分を求める複数の色成分演算部を有するもので、すなわち、前記画素がＲ成分またはＢ成分を有する場合にはＧ成分のエッジ成分を求め、Ｇ成分を有する場合には演算を遂行しない第１色成分演算部２６１１、前記画素がＲ成分を有する場合にはＲ成分の水平エッジ成分を求め、Ｇ成分を有する場合にはＧ成分の水平エッジ成分を求め、Ｂ成分を有する場合にはＢ成分の水平エッジ成分を求める第２色成分演算部２６１３、及び前記画素がＲ成分を有する場合にはＲ成分の垂直エッジ成分を求め、Ｇ成分を有する場合にはＧ成分の垂直エッジ成分を求め、Ｂ成分を有する場合にはＢ成分の垂直エッジ成分を求める第３色成分演算部２６１５を具備する。図４は画素（２,２）がＲ成分を有すると仮定して演算部２６１の色成分について表記した。
【００５４】
これを再び表現すれば次の通りである。
第１色成分演算部２６１１は、色成分を求めようとする任意の画素を基準にしたＧ成分の水平傾斜成分の絶対値、及び前記画素を基準にしたＧ成分の垂直傾斜成分の絶対値の差を計算する。
【００５５】
第２色成分演算部２６１３は、色成分を求めようとする任意の画素がＲ成分を有している時、前記画素を基準にしたＲ成分の左側傾斜成分の絶対値、及び前記画素を基準にしたＲ成分の右側傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＧ成分を有している時、前記画素を基準にしたＧ成分の左側傾斜成分の絶対値、及び前記画素を基準にしたＧ成分の右側傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＢ成分を有している時、前記画素を基準にしたＢ成分の左側傾斜成分の絶対値、及び前記画素を基準にしたＢ成分の右側傾斜成分の絶対値の差を計算する。
【００５６】
第３色成分演算部２６１５は、色成分を求めようとする任意の画素がＲ成分を有している時、前記画素を基準にしたＲ成分の上部傾斜成分の絶対値、及び前記画素を基準にしたＲ成分の下部傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＧ成分を有している時、前記画素を基準にしたＧ成分の上部傾斜成分の絶対値、及び前記画素を基準にしたＧ成分の下部傾斜成分の絶対値の差を計算するか、
色成分を求めようとする任意の画素がＢ成分を有している時、前記画素を基準にしたＢ成分の上部傾斜成分の絶対値、及び前記画素を基準にしたＢ成分の下部傾斜成分の絶対値の差を計算する。
【００５７】
前述した内容を一般化させれば次の通りである。
第１色成分演算部２６１１は、第１機能ブロック２６１６、第２機能ブロック２６１７及び第１減算器５００１を具備する。第１機能ブロック２６１６は、Ｇ３２及びＧ１２色成分の差を求める第２減算器２６２２及びこの第２減算器２６２２の出力データの絶対値を求める第１ブロック２６２３を具備する。第２機能ブロック２６１７は、Ｇ２３及びＧ２１色成分の差を求める第３減算器２６２４及びこの第３減算器２６２４の出力データの絶対値を求める第２ブロック２６２５を具備する。第１減算器５００１は、第１機能ブロック２６１６及び第２機能ブロック２６１７のデータの差を求めて出力（ｘ１）する。
【００５８】
第２色成分演算部２６１３は、第１色成分演算部２６１１と同じ構造の回路で構成され、Ｒ２２及びＲ２４色成分の差の絶対値及びＲ２２及びＲ２０色成分の差の絶対値を求め、前記二つの絶対値の差を出力（ｘ２）する。
【００５９】
第３色成分演算部２６１５は、第１色成分演算部２６１１と同じ構造の回路で構成され、Ｒ２２及びＲ４２色成分の差の絶対値及びＲ２２及びＲ０２色成分の差の絶対値を求め、前記二つの絶対値の差を出力（ｘ３）する。
【００６０】
比較決定器２６３は、第１比較決定器２６３１、第２比較決定器２６３３及び第３比較決定器２６３５を具備する。
第１比較決定器２６３１は、第１色成分演算部の出力（ｘ１）が負の第１臨界値よりは大きくて正の第１臨界値よりは小さい場合には第１方向性係数を第１状態値に選択し、第１色成分演算部の出力（ｘ１）が負の第１臨界値より小さい場合には第１方向性係数を第２状態値に選択し、第１色成分演算部の出力（ｘ１）が正の第１臨界値より大きい場合には第１方向性係数を第３状態値に選択して出力（αｄ）する。
【００６１】
第２比較決定器２６３３は、第２色成分演算部の出力（ｘ２）が負の第２臨界値よりは大きくて正の第２臨界値よりは小さい場合には第２方向性係数を第１状態値に選択し、第２色成分演算部の出力（ｘ２）が負の第２臨界値より小さい場合には第２方向性係数を第２状態値に選択し、第２色成分演算部の出力（ｘ２）が正の第２臨界値より大きい場合には第２方向性係数を第３状態値に選択して出力（αｈ）する。
【００６２】
第３比較決定器２６３５は、第３色成分演算部の出力（ｘ３）が負の第３臨界値よりは大きくて正の第３臨界値よりは小さい場合には第３方向性係数を第１状態値に選択し、第３色成分演算部（ｘ３）の出力が負の第３臨界値より小さい場合には第３方向性係数を第２状態値に選択し、第３色成分演算部の出力（ｘ３）が正の第３臨界値より大きい場合には第３方向性係数を第３状態値に選択して出力（αｖ）する。
【００６３】
前記第１臨界値ないし第３臨界値は、４より大きくて２０よりは小さな整数であり、前記第１状態値は１／２で、第２状態値は１で、第３状態値は０であることが望ましい。
【００６４】
図５は、図２に示された適応補間器２７の内部回路図である。
図５を参照すれば、適応補間器２７は、Ｇ成分補間器２７１、Ｒ成分補間器２７５及びＢ成分補間器２７７を具備する。
【００６５】
Ｇ成分補間器２７１は、低域通過フィルタ成分計算器２７２、高域通過フィルタ成分計算器２７３及び第１加算器２７４を具備する。
低域通過フィルタ成分計算器２７２は、遅延モジュール２５の出力信号のうち複数のＧ成分を受信して演算を行ない、前記方向性係数値選択器２６の出力信号によって前記演算結果を選択して出力（Ｇｌｐｆ）する。
高域通過フィルタ成分計算器２７３は、遅延モジュール２５の出力信号のうち複数のＲ成分またはＢ成分を受信して演算を行ない、方向性係数値選択器２６の出力信号によって前記演算結果を選択して出力（Ｇｈｐｆ）する。
第１加算器２７４は、前記低域通過フィルタ成分計算器２７２の出力（Ｇｌｐｆ）信号及び前記高域通過フィルタ成分計算器２７３の出力（Ｇｈｐｆ）信号を論理和する加算器を具備する。
【００６６】
Ｒ成分補間器２７５は、そのＧ成分を知っている画素（ｉ,ｊ）のＲ成分を求めようとする場合、方向性係数値選択器２６の第２方向性係数（αｈ）の値に応答して
【数１３】
0004127638.tif 000010
のうち一つを選択して出力（Ｒ０）し、
そのＢ成分を知っている画素（ｉ,ｊ）のＲ成分を求めようとする場合、前記画素（ｉ,ｊ）の対角線方向に存在する４つの画素の算術平均
【数１４】
0004127638.tif 000011
を出力（Ｒ０）する。
【００６７】
Ｂ成分補間器２７７は、
そのＧ成分を知っている画素（ｉ,ｊ）のＢ成分を求めようとする場合、方向性係数値選択器２６の第３方向性係数（αｖ）の値に応答して
【数１５】
0004127638.tif 000012
のうち一つを選択して出力（Ｂ０）し、
そのＲ成分を知っている画素（ｉ,ｊ）のＢ成分を求めようとする場合、前記画素（ｉ,ｊ）の対角線方向に存在する４つの画素の算術平均
【数１６】
0004127638.tif 000013
を出力（Ｂ０）する。
【００６８】
図６は、図５に示された低域通過フィルタ成分計算器２７２の内部回路図である。
図６を参照すれば、低域通過フィルタ成分計算器２７２は、第１論理ブロック部（６１１ないし６１６の集合）、第２論理ブロック部（６１７ないし６２１の集合）及び第１選択器６３０を具備する。
第１論理ブロック部６１１ないし６１６は、Ｇ１２及びＧ３２、Ｇ２３及びＧ３２、Ｇ２３及びＧ１２、Ｇ２１及びＧ３２、Ｇ２１及びＧ１２ 及びＧ２３及びＧ２１を各々論理和して２で割る論理ブロックを複数具備する。
第２論理ブロック部６１７ないし６２１は、第１論理ブロック部６１１ないし６１６の出力信号のうち２つの出力信号を選択して２で割る論理ブロックを複数具備する。
第１選択器６３０は、方向性係数値選択器２６の出力信号αｄ、αｈ及びαｖによって、Ｇ１２、Ｇ２１、Ｇ２３、Ｇ３２、第１論理ブロック部６１１ないし６１６の出力信号さらには第２論理ブロック部６１７ないし６２１の出力信号のうち一つを選択して出力（Ｇｌｐｆ）する。
【００６９】
図７は、図５に示された高域通過フィルタ成分計算器２７３の内部回路図である。
図７を参照すれば、高域通過フィルタ成分計算器２７３は、第３論理ブロック部７１２ないし７１５、第４論理ブロック部７１６ないし７２１、第５論理ブロック部７２２ないし７２６及び第２選択器７３０を具備する。
第３論理ブロック部７１２ないし７１５は、Ｒ２２及びＲ４２の差（またはＢ２２及びＢ４２の差）、Ｒ２２及びＲ０２の差（またはＢ２２及びＢ０２の差）、Ｒ２２及びＲ２４の差（またはＢ２２及びＢ２４の差）及びＲ２２及びＲ２０の差（またはＢ２２及びＢ２０の差）を２で割る複数の論理ブロックを具備する。
第４論理ブロック部７１６ないし７２１は、第３論理ブロック部７１２ないし７１５の複数の出力信号のうち相異なる２つの出力信号を各々選択して論理和して２で割る複数の論理ブロックを具備する。
第５論理ブロック部７２２ないし７２６は、第４論理ブロック部７１６ないし７２１の出力信号のうち相異なる２つの出力信号を各々選択して論理和して２で割る複数の論理ブロックを具備する。
第２選択器７３０は、方向性係数値選択器２６の出力信号αｄ、αｈ及びαｖによって、第３ないし第５論理ブロック部７１２〜７２６の出力信号のうち一つを選択して出力（Ｇｈｐｆ）する。
【００７０】
図８は、本発明の一実施形態によるイメージセンサ出力データ処理方法を示す信号フローチャートである。
図８を参照すれば、本発明によるイメージセンサ出力データ処理方法（段階８００）は、段階８１０ないし段階８７０を具備する。
段階８１０は、入力される自然の風景を電子信号に変換するイメージセンサの出力データを処理する方法において、前記イメージセンサの出力データを貯蔵する。
段階８３０は、貯蔵されたイメージセンサの出力データ及び現在入力されるイメージセンサの出力データを利用して求めようとする画素の色成分の強度を決定する少なくとも３つの方向性係数の値を選択する。
段階８７０は、前記段階で選択された複数の方向性係数及び前記イメージセンサの出力データを利用して、Ｇ成分を有する画素のＲ成分及びＢ成分を求め、Ｒ成分を有する画素のＧ成分及びＢ成分を求め、Ｂ成分を有する画素のＧ成分及びＲ成分を求めるインタポレーションを遂行する。
【００７１】
ここで、前記少なくとも３つの方向性係数は、水平線、垂直線及び対角線を基準に一側平面のエッジ成分の程度を示す第１方向性係数、水平線を基準に一定の幅を有し、前記水平線を基準に左側成分、右側成分及び前記左側成分と右側成分両方を含む成分の程度を示す第２方向性係数及び垂直線を基準に一定の幅を有し、前記垂直線を基準に上側成分、下側成分及び前記上側成分と下側成分両方を含む成分の程度を示す第３方向性係数である。
前記段階８１０は、前記イメージセンサの出力データを所定の単位に区分して、１単位ずつ貯蔵するラインメモリを具備して少なくとも４単位のデータを貯蔵し、前記所定の１単位は、ベイヤアレイ構造で一つのラインであることが望ましい。
【００７２】
図９は、図８に示された方向性係数値を選択する段階８３０をより細分化した信号フローチャートである。
図９を参照すれば、３つの方向性係数値選択段階８３０は、段階８３１ないし段階８５１を具備する。
段階８３１は、色成分を求めようとする任意の画素が既にＧ成分であるかどうかを判断する。
段階８３３及び８３５は、色成分を求めようとする画素が既にＧ成分を有している場合、第２方向性係数の値及び第３方向性係数の値を順に選択する。
段階８３７は、色成分を求めようとする画素が有している色成分がＧ成分でない場合、前記画素を基準にしたＧ成分の水平傾斜成分の絶対値及び前記画素を基準にしたＧ成分の垂直傾斜成分の絶対値の差ΔＧの絶対値が第１臨界値Ｔ１より小さいかどうかを比較する。
段階８３９及び８４１は、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差ΔＧの絶対値が前記第１臨界値Ｔ１より小さい場合、前記第１方向性係数αｄの値を第１状態値１／２に定め、前記第２方向性係数αｈの値を選択する。
【００７３】
段階８４３は、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差ΔＧが前記第１臨界値の負の値−Ｔ１より少ないかどうかを判断する。
段階８４５及び８４７は、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差ΔＧが前記第１臨界値の負の値−Ｔ１より小さい場合、前記第１方向性係数αｄの値を第２状態値１に定め、前記第２方向性係数αｈの値を選択する。
段階８４９は、前記Ｇ成分の水平傾斜成分の絶対値及び前記Ｇ成分の垂直傾斜成分の絶対値の差ΔＧが前記第１臨界値Ｔ１の正の値より大きい場合、前記第１方向性係数αｄの値を第３状態値０に定める。
段階８５１は、前記第１方向性係数αｄの値が第１状態値１／２または第３状態値０に決まった場合、引続き前記第３方向性係数αｖの値を選択する。
前記Ｇ成分の水平成分の絶対値及び前記Ｇ成分の垂直成分の絶対値の差ΔＧは、
求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、
数式｜Ｇi(j+1)−Ｇi(j-1)｜−｜Ｇ(i-1)j−Ｇ(i+1)j｜で表示され、
ここでｉ及びｊは整数である。
【００７４】
図１０は、図９に示された画素が既にＧ成分を有している場合に前記第２方向性係数の値を選択する段階８３３を構成する信号フローチャートである。
図１０を参照すれば、第２方向性係数値の選択段階８３３は、段階８３３１ないし段階８３３９を具備する。
段階８３３１は、前記画素を基準にしたＧ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＧ成分の右側傾斜成分の絶対値の差ΔＧｈの絶対値が第２臨界値Ｔ２より小さいかどうかを比較する。
段階８３３３は、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差ΔＧｈの絶対値が前記第２臨界値Ｔ２より小さい場合、前記第２方向性係数αｈの値を前記第１状態値１／２に定める。
段階８３３５は、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差ΔＧｈが前記第２臨界値の負の値Ｔ２より小さいかどうかを比較する。
【００７５】
段階８３３７は、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差ΔＧｈが前記第２臨界値の負の値−Ｔ２より小さい場合、前記第２方向性係数αｈの値を前記第２状態値１に定める。
段階８３３９は、前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側傾斜成分の絶対値の差ΔＧｈが前記第２臨界値Ｔ２より大きい場合、前記第２方向性係数αｈの値を前記第３状態値０に定める。
前記Ｇ成分の左側傾斜成分の絶対値及び前記Ｇ成分の右側成分の絶対値の差ΔＧｈは、
求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、
数式｜Ｇij−Ｇi(j-2)｜−｜Ｇij−Ｇi(j+2)｜で表示され、
ここでｉ及びｊは整数である。
【００７６】
図１１は、図９に示された画素が既にＧ成分を有している場合に前記第３方向性係数の値を選択する段階８３５を構成する信号フローチャートである。
図１１を参照すれば、第３方向性係数の値を選択する段階８３５は、段階８３５１ないし段階８３５９を具備する。
段階８３５１は、前記画素を基準にしたＧ成分の上部傾斜成分の絶対値及び前記画素を基準にしたＧ成分の下部傾斜成分の絶対値の差ΔＧｖの絶対値が第３臨界値Ｔ３より小さいかどうかを比較する。
段階８３５３は、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差ΔＧｖの絶対値が前記第３臨界値Ｔ３より小さい場合、前記第３方向性係数αｖの値を前記第１状態値１／２に定める。
段階８３５５は、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差ΔＧｖが第３臨界値の負の値−Ｔ３より小さいかどうかを比較する。
【００７７】
段階８３５７は、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差ΔＧｖが前記第３臨界値の負の値−Ｔ３より小さい場合、前記第３方向性係数αｖの値を第２状態値１に定める。
段階８３５９は、前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差ΔＧｖが前記二つの比較段階のうちどこにも属していない場合、前記第３方向性係数αｖの値を前記第３状態値０に定める。
前記Ｇ成分の上部傾斜成分の絶対値及び前記Ｇ成分の下部傾斜成分の絶対値の差ΔＧｖは、
求めようとする画素（ｉ,ｊ）のＧ成分をＧｉｊとすれば、
数式｜Ｇij−Ｇ(i-2)j｜−｜Ｇij−Ｇ(i+2)j｜で表示され、
ここでｉ及びｊは整数である。
【００７８】
図１２は、図９に示された色成分を求めようとする画素が有している色成分がＧ成分でない場合に、前記第２方向性係数の値を選択する段階８４１及び８４７を構成する信号フローチャートである。
図１２を参照すれば、第２方向性係数値選択段階８４１及び８４７は、段階８４１１ないし段階８４２１を具備する。
段階８４１１は、前記画素が有している色成分がＲ成分であるかどうかを判断する。
段階８４１２は、前記画素がＲ成分である場合、前記画素を基準にしたＲ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＲ成分の右側傾斜成分の絶対値の差ΔＲｈの絶対値が第２臨界値Ｔ２より小さいかどうかを比較する。
段階８４１３は、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差ΔＲｈの絶対値が前記第２臨界値Ｔ２より小さい場合、前記第２方向性係数αｈの値を前記第１状態値１／２に定める。
【００７９】
段階８４１４は、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差ΔＲｈが前記第２臨界値の負の値Ｔ２より小さいかどうかを比較する。
段階８４１５は、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差ΔＲｈが前記第２臨界値の負の値Ｔ２より小さい場合、前記第２方向性係数αｈの値を前記第２状態値１に定める。
段階８４１６は、前記Ｒ成分の左側傾斜成分の絶対値及び前記Ｒ成分の右側傾斜成分の絶対値の差ΔＲｈが前記第２臨界値Ｔ２より大きい場合、前記第２方向性係数αｈの値を前記第３状態値０に定める。
【００８０】
段階８４１７は、前記画素が有している色成分がＲ成分でない場合、前記画素を基準にしたＢ成分の左側傾斜成分の絶対値及び前記画素を基準にしたＢ成分の右側傾斜成分の絶対値の差ΔＲｈの絶対値が第２臨界値Ｔ２より小さいかどうかを比較する。
段階８４１８は、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差ΔＢｈの絶対値が前記第２臨界値Ｔ２より小さい場合、前記第２方向性係数αｈの値を前記第１状態値１／２に定める。
【００８１】
段階８４１９は、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差ΔＢｈが前記第２臨界値の負の値Ｔ２より小さいかどうかを比較する。
段階８４２０は、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差ΔＢｈが前記第２臨界値の負の値Ｔ２より小さい場合、前記第２方向性係数αｈの値を前記第２状態値１に定める。
段階８４２１は、前記Ｂ成分の左側傾斜成分の絶対値及び前記Ｂ成分の右側傾斜成分の絶対値の差ΔＢｈが前記第２臨界値Ｔ２より大きい場合、前記第２方向性係数αｈの値を前記第３状態値０に定める。
【００８２】
前記Ｒ値の左側傾斜成分の絶対値及び前記Ｒ値の右側成分の絶対値の差ΔＲｈは、
求めようとする画素（ｉ,ｊ）のＲ値をＲｉｊとすれば、
数式｜Ｒij−Ｒi(j-2)｜−｜Ｒij−Ｒi(j+2)｜で表示され、
前記Ｂ値の左側傾斜成分の絶対値及び前記Ｂ値の右側成分の絶対値の差ΔＢｈは、
求めようとする画素（ｉ,ｊ）のＢ値をＢｉｊとすれば、
数式｜Ｂij−Ｂi(j-2)｜−｜Ｂij−Ｂi(j+2)｜で表示され、
ここでｉ及びｊは整数である。
【００８３】
図１３は、図９に示された色成分を求めようとする画素が有している色成分がＧ成分でない場合に、前記第３方向性係数の値を選択する段階８５１を構成する信号フローチャートである。
図１３を参照すれば、第３方向性係数値の選択段階８５１は、段階８５１１ないし段階８５２１を具備する。
段階８５１１は、前記画素に対する色成分がＲ成分であるかどうかを判断する。
段階８５１２は、前記画素の色成分がＲ成分である場合、前記画素を基準にしたＲ成分の上部傾斜成分の絶対値及び前記画素を基準にしたＲ成分の下部傾斜成分の絶対値の差ΔＲＶの絶対値が第３臨界値Ｔ３より小さいかどうかを比較する。
段階８５１３は、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差ΔＲＶの絶対値が前記第３臨界値Ｔ３より小さい場合、前記第３方向性係数αｖの値を前記第１状態値１／２に定める。
【００８４】
段階８５１４は、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差ΔＲＶが前記第３臨界値の負の値−Ｔ３より小さいかどうかを比較する。
段階８５１５は、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差ΔＲＶが前記第３臨界値の負の値−Ｔ３より小さい場合、前記第３方向性係数αｖの値を前記第２状態値１に定める。
段階８５１６は、前記Ｒ成分の上部傾斜成分の絶対値及び前記Ｒ成分の下部傾斜成分の絶対値の差ΔＲＶが前記第３臨界値Ｔ３より大きい場合、前記第３方向性係数αｖの値を前記第３状態値０に定める。
【００８５】
段階８５１７は、前記画素の色成分がＲ成分でない場合、前記画素を基準にしたＢ成分の上部傾斜成分の絶対値及び前記画素を基準にしたＢ成分の下部傾斜成分の絶対値の差ΔＢｖの絶対値が第３臨界値Ｔ３より小さいかどうかを比較する。
段階８５１８は、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差ΔＢｖの絶対値が前記第３臨界値Ｔ３より小さい場合、前記第３方向性係数αｖの値を前記第１状態値１／２に定める。
【００８６】
段階８５１９は、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差ΔＢｖが前記第３臨界値の負の値−Ｔ３より小さいかどうかを比較する。
段階８５２０は、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差ΔＢｖが前記第３臨界値の負の値−Ｔ３より小さい場合、前記第３方向性係数αｖの値を前記第２状態値１に定める。
段階８５２１は、前記Ｂ成分の上部傾斜成分の絶対値及び前記Ｂ成分の下部傾斜成分の絶対値の差ΔＢｖが前記二つの比較段階のうちどこにも属していない場合、前記第３方向性係数αｖの値を前記第３状態値０に定める。
【００８７】
前記Ｒ値の上部傾斜成分の絶対値及び前記Ｒ値の下部傾斜成分の絶対値の差ΔＲＶは、
求めようとする画素（ｉ,ｊ）のＲ値をＲｉｊとすれば、
数式｜Ｒij−Ｒ(i-2)j｜−｜Ｒij−Ｒ(i+2)j｜で表示され、
前記Ｂ値の上部傾斜成分の絶対値及び前記Ｂ値の下部傾斜成分の絶対値の差ΔＢｖは、
求めようとする画素（ｉ,ｊ）のＢ値をＢｉｊとすれば、
数式｜Ｂij−Ｂ(i-2)j｜−｜Ｂij−Ｂ(i+2)j｜で表示され、
ここでｉ及びｊは整数である。
前記第１臨界値Ｔ１ないし前記第３臨界値Ｔ３は、４より大きくて２０より小さな整数であることが望ましい。
【００８８】
前記インタポレーション段階は、
前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＲ成分に選択する段階（図示せず）、前記イメージセンサの出力データを演算し、選択された方向性係数の値によって前記演算されたデータのうち該当データをＧ成分に選択する段階（図示せず）、及び前記イメージセンサの出力データを演算し、選択された方向性係数等の値によって前記演算されたデータのうち該当データをＢ成分に選択する段階（図示せず）を具備する。
【００８９】
前記イメージセンサ出力データ処理方法は、
少なくとも一つ以上の状態値をさらに具備し、前記状態値は、傾斜度が相異なる対角線成分を有するエッジ、傾斜度が相異なる水平成分を有するエッジ及び傾斜度が相異なる垂直成分を有するエッジの傾斜度の程度を示すのに使われうる。
【００９０】
以下、本発明によるイメージセンサの出力データ処理装置及び処理方法の数学的根拠を説明する。
図１に示された画素（２,２）のＧ値とＲ値との差は、画素（２,２）周囲の４つの画素（（２,１）、（２,３）、（１,２）及び（３,２））のＧ値及びＲ値を利用して求めうる。すなわち、画素（２,１）のＧ値とＲ値との差に所定の加重値をかける。同じく、残りの画素（２,３）、（１,２）及び（３,２）のＧ値とＲ値との差に所定の加重値β＋γ＋σを各々かける。その後、前記４つの計算値を全部合せれば、画素（２,２）のＧ値とＲ値との差になる。数１７は画素（２,２）でのＧ値とＲ値との差を示す。
【数１７】
0004127638.tif 000014
ここで、α＋β＋γ＋σ＝１である。
前記数１７は、画素（２,２）で映像のエッジ成分の方向によって、数１８のように表現できる。
【数１８】
0004127638.tif 000015
ここで、αdは水平方向または垂直方向のエッジ成分が存在するか否かを示し、αｈは水平方向のエッジ成分の程度、αｖは垂直方向のエッジ成分の程度を示す。
【００９１】
方向性係数αｄ、αｈ及びαｖを求める方法を、画素（２,２）でＧ値を求める場合の例をあげて説明する。
まず、水平または垂直方向のエッジ程度を示すαｄは、数１９によって定められる。
【数１９】
0004127638.tif 000016
数１９を参照すれば、画素（２,２）に水平に隣接した画素（２,３）及び（２,１）間のＧ成分の差の絶対値｜Ｇ23−Ｇ21｜及び垂直に隣接した画素（１,２）及び（３,２）間のＧ成分の差の絶対値｜Ｇ12−Ｇ32｜の差の絶対値が第１臨界値Ｔ１より小さければ、αｄ＝１／２になる。画素（２,２）に水平に隣接した画素（２,３）及び（２,１）間のＧ成分の差の絶対値｜Ｇ23−Ｇ21｜と垂直に隣接した画素（１,２）及び（３,２）間のＧ成分の差の絶対値｜Ｇ23−Ｇ21｜との差が第１臨界値のネガティブ値−Ｔ１より小さければαｄ＝１になり、他の場合はαｄ＝０になる。
【００９２】
現在の画素を中心に水平方向のエッジの程度を示すαｈは数２０によって定められる。
【数２０】
0004127638.tif 000017
数２０を参照すれば、画素（２,２）及び画素（２,２）に水平に隣接した画素（２,０）のＲ成分の差の絶対値｜Ｒ22−Ｒ20｜及び画素（２,２）及び画素（２,２）に水平に隣接した画素（２,４）のＲ成分の差の絶対値｜Ｒ22−Ｒ24｜の差の絶対値が第２臨界値Ｔ２より小さければ、αｈ＝１／２となる。画素（２,２）及び画素（２,２）に水平に隣接した画素（２,０）のＲ成分の差の絶対値｜Ｒ22−Ｒ20｜及び画素（２,２）及び画素（２,２）に水平に隣接した画素（２,４）のＲ成分の差の絶対値｜Ｒ22−Ｒ24｜の差が第２臨界値のネガティブ値−Ｔ２より小さければαｈ＝１になり、他の場合はαｈ＝０になる。
【００９３】
さらに、現在の画素を中心に垂直方向のエッジ程度を示すαｖは、数２１によって定められる。
【数２１】
0004127638.tif 000018
数２１を参照すれば、画素（２,２）及び画素（２,２）に垂直に隣接した画素（０,２）のＲ成分の差の絶対値｜Ｒ22−Ｒ02｜及び画素（２,２）及び画素（２,２）に垂直に隣接した画素（４,２）のＲ成分の差の絶対値｜Ｒ22−Ｒ42｜の差の絶対値が第３臨界値Ｔ３より小さければ、αｖ＝１／２になる。画素（２,２）及び画素（２,２）に垂直に隣接した画素（０,２）のＲ成分の差の絶対値｜Ｒ22−Ｒ02｜及び画素（２,２）及び画素（２,２）に垂直に隣接した画素（４,２）のＲ成分の差の絶対値｜Ｒ22−Ｒ42｜の差が第３臨界値のネガティブ値−Ｔ３より小さければαｖ＝１になり、他の場合はαｖ＝０になる。
【００９４】
ここで、Ｔ１、Ｔ２及びＴ３は各々４より大きくて２０より小さな整数である。
【００９５】
説明を簡単にするために、前記係数の値を全部１／２（αｄ＝αｈ＝αｖ＝１／２）と仮定すれば、画素（２、２）の周辺画素のＲ値は数２２のように表示できる。
【数２２】
0004127638.tif 000019
前記仮定（αｄ＝αｈ＝αｖ＝１／２）、数２２の結果及び数１８を利用して画素（２,２）のＧの値を計算すれば、数２３のように求められる。
【数２３】
0004127638.tif 000020
前述した方法は画素（２,２）の値を求めることを例としたが、同じ方法で任意の画素の値を求めうることは明らかである。
【００９６】
図１４は、本発明によるイメージセンサ出力データ処理方法が処理できる１９の場合のエッジを示す。
図１５は、任意の画素（２,２）のＧ値を決定する３つの方向性係数αｄ、αｈ及びαｖによって処理できるエッジを分類して示す。
図１４及び図１５を参照すれば、本発明によるイメージセンサ出力データ処理方法は、対角線エッジ成分ａ、ｂ、ｃ及びｄ、水平エッジ成分ｆ、ｈ、ｊ、ｌ、ｎ、ｏ、ｐ、ｑ及びｒ及び垂直エッジ成分ｅ、ｇ、ｋ、ｍ、ｏ、ｐ、ｑ及びｓを全部カバーできることが分かる。特に、４つの場合のエッジ成分ｏ、ｐ、ｑ及びｒは水平及び垂直成分を扱う二つの処理方式に全部適用できる。
【００９７】
また、Ｇ値が存在する画素でＲまたはＢ値を求める時、一方向にのみ補間技法を使用すればよいので計算が簡単になる。Ｒの値を求める方法はＢの値を求める方法と同一に適用できる。したがって、ここでは画素（２,３）でＲ値だけを求める。また、Ｇプレーン値を求める時に使用したαｄはここでは使用せず、水平方向エッジ成分のαｈだけを考慮する。
【００９８】
図１６は、方向性係数αｈによる画素（２,３）のＲ成分及びこれを満足するエッジの種類を分類したものである。
補間技法を利用して、Ｒ値が存在する画素でＢ値を求めるか、Ｂ値が存在する画素でＲ値を求める。しかし、任意の画素でＲ及びＢ値は画質に多くの影響を与えないためにこれを近似的に求めても問題が発生しない。例えば、Ｒ値が存在する画素（２,２）のＢ値は、周囲の４つの画素（１,１）、（１,３）、（３,１）及び（３,３）のＢ値の算術平均によって求めうる。Ｂ値が存在する任意の画素のＲ値も同じ方法で求めうる。
【００９９】
本発明は図面に示された一実施形態を参考にして説明されたが、これは例示的なものに過ぎず、本技術分野の当業者であればこれより多様な変形及び均等な他の実施形態が可能であるという点を理解できる。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により決まらねばならない。
【０１００】
【発明の効果】
以上詳述したように、本発明によるイメージセンサ出力データ処理装置及び処理方法は、映像センサの任意の画素で感知された相異なるカラー間の強度の差が一定な場合はもとより一定でない場合にも高品質の画質を得られ、映像の水平エッジ、垂直エッジ、対角線エッジ、角エッジ及び厚いか薄いエッジいずれにも適応力がある長所がある。
【図面の簡単な説明】
【図１】ベイヤアレイを示すダイヤグラムである。
【図２】本発明の一実施形態によるイメージセンサ出力データ処理装置を示すブロックダイヤグラムである。
【図３】図２に示された遅延モジュール２５の内部回路図である。
【図４】図２に示された方向性係数値選択器２６の内部回路図である。
【図５】図２に示された適応補間器２７の内部回路図である。
【図６】図５に示された低域通過フィルタ成分計算器２７２の内部回路図である。
【図７】図５に示された高域通過フィルタ成分計算器２７３の内部回路図である。
【図８】本発明の一実施形態によるイメージセンサ出力データ処理方法を示す信号フローチャートである。
【図９】図８に示された方向性係数値を選択する段階８３０をより細分化した信号フローチャートである。
【図１０】図９に示された画素が既にＧ成分を有している場合に第２方向性係数の値を選択する段階８３３を構成する信号フローチャートである。
【図１１】図９に示された画素が既にＧ成分を有している場合に第３方向性係数の値を選択する段階８３５を構成する信号フローチャートである。
【図１２】図９に示された色成分を求めようとする画素が有している色成分がＧ成分でない場合に、第２方向性係数の値を選択する段階８４１及び８４７を構成する信号フローチャートである。
【図１３】図９に示された色成分を求めようとする画素が有している色成分がＧ成分でない場合に、前記第３方向性係数の値を選択する段階８５１を構成する信号フローチャートである。
【図１４】本発明によるイメージセンサ出力データ処理方法が処理できる１９の場合のエッジを示す図である。
【図１５】任意の画素（２,２）のＧ値を決定する３つの方向性係数αｄ、αｄ 及びαｖによって処理できるエッジを分類して示す図である。
【図１６】方向性係数αｈによる画素（２,３）のＲ成分及びこれを満足するエッジの種類を分類した図である。
【符号の説明】
２０  ラインメモリモジュール
２５  遅延モジュール
２６  方向性係数値選択器
２７  適応補間器
【図１】
0004127638.tif 000025
【図２】
0004127638.tif 000026
【図３】
0004127638.tif 000027
【図４】
0004127638.tif 000028
【図５】
0004127638.tif 000029
【図６】
0004127638.tif 000030
【図７】
0004127638.tif 000031
【図８】
0004127638.tif 000032
【図９】
0004127638.tif 000033
【図１０】
0004127638.tif 000034
【図１１】
0004127638.tif 000035
【図１２】
0004127638.tif 000036
【図１３】
0004127638.tif 000037
【図１４】
0004127638.tif 000038
【図１５】
0004127638.tif 000039
【図１６】
0004127638.tif 000040