(57)【要約】【課題】この発明は、コンタクトイメージセンサの連結部分に対応する位置の画素データを精度良く補間することができる画像補間装置を提供する。【解決手段】  画像補間処理において、（１）欠落画素の位置は、基本フレームの先頭又は末尾になる位置とする。（２）基本パターン１０ｘの欠落画素Ｘ（Ａｎ）の仮補間に使う画素として欠落画素の両側２画素とする。比較パターンの仮補間に使う画素として欠落画素とその両端画素と同じ位置関係にある比較パターン１０ｙ１の３画素を使う。これらの画素の信号レベル及び信号変化量に適応した仮補間値を算出し、この値を挿入する。（３）パターンマッチング処理は、上記（２）の処理にて欠落画素Ｘ（Ａｎ）に仮補間値が挿入された基本パターン１０ｘと比較パターン１０ｙ１の同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計する計算を行う。【選択図】  図１２
2010288254.tif 000002
【特許請求の範囲】
【請求項１】
多数の画像読取素子が直線状に配列されたコンタクトイメージセンサを複数連結し、その連結部を欠落画素として補間する画像補間装置において、
前記欠落画素の周辺画素から、前記欠落画素を先頭又は末尾の位置とする３つ以上の連続する画素で構成される基本フレームと、少なくとも１つの画素はオーバーラップしていない連続する画素であって前記基本フレームと同じ画素数で構成される複数の比較フレームと抽出する周辺画素抽出手段と、
前記欠落画素の前後の画素から成る第１の画素群と、前記複数の比較フレームの前記欠落画素と同じ位置の画素とその前後の画素から成る第２の画素群の信号レベル及び信号変化量に基づき、前記複数の比較フレーム毎に仮補間値を算出する仮補間値算出手段と、
前記複数の比較フレーム毎に算出された前記仮補間値を前記基本フレームの前記欠落画素に代入し、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する前記比較フレームの同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計してパターンマッチングの度合いを算出する複数のパターンマッチング処理手段と、
前記複数のパターンマッチング処理手段から出力される前記差分合計の最も小さいものに対応する前記仮補間値を正式な補間値として出力する出力手段と、
を有することを特徴とする画像補間装置。
【請求項２】
多数の画像読取素子が直線状に配列されたコンタクトイメージセンサを複数連結し、その連結部を欠落画素として補間する画像補間装置において、
前記欠落画素の周辺画素から、前記欠落画素を先頭又は末尾の位置とする３つ以上の連続する画素で構成される基本フレームと、少なくとも１つの画素はオーバーラップしていない連続する画素であって前記基本フレームと同じ画素数で構成される複数の比較フレームと抽出する周辺画素抽出手段と、
前記欠落画素の前後の画素から成る第１の画素群と、前記複数の比較フレームの前記欠落画素と同じ位置の画素とその前後の画素から成る第２の画素群の信号レベル及び信号変化量に基づき、前記複数の比較フレーム毎に仮補間値を算出する仮補間値算出手段と、
前記複数の比較フレーム毎に算出された前記仮補間値を前記基本フレームの前記欠落画素に代入し、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する前記比較フレームの同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計してパターンマッチングの度合いを算出する複数のパターンマッチング処理手段と、
前記複数のパターンマッチング処理手段から出力される前記差分合計の最も小さいものに対応する前記仮補間値を検出して検出手段と、
前記欠落画素の両側画素の傾きに応じて補間値を出力する線形補間手段と、
前記検出手段から出力される前記差分合計が所定の閾値以下である時は前記検出手段から出力される前記仮補間値を正式な補間値として出力し、前記差分合計が所定の閾値以上である時は前記線形補間手段から出力される補間値を正式な補間値として出力する出力手段と
を有することを特徴とする画像補間装置。
【請求項３】
多数の画像読取素子が直線状に配列されたコンタクトイメージセンサを複数連結し、その連結部を欠落画素として補間する画像補間装置において、
前記欠落画素の周辺画素から、前記欠落画素を先頭又は末尾の位置とする３つ以上の連続する画素で構成される基本フレームと、少なくとも１つの画素はオーバーラップしていない連続する画素であって前記基本フレームと同じ画素数で構成される複数の比較フレームと抽出する周辺画素抽出手段と、
前記欠落画素の前後の画素から成る第１の画素群と、前記複数の比較フレームの前記欠落画素と同じ位置の画素とその前後の画素から成る第２の画素群の信号レベル及び信号変化量に基づき、前記複数の比較フレーム毎に仮補間値を算出する仮補間値算出手段と、
前記複数の比較フレーム毎に算出される前記仮補間値を前記基本フレームの前記欠落画素に代入し、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する前記比較フレームの同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計してパターンマッチングの度合いを算出する複数のパターンマッチング処理手段と、
前記複数のパターンマッチング処理手段から出力される前記差分合計の最も小さいものに対応する前記仮補間値を検出する検出手段と、
前記欠落画素の両側画素の傾きに応じて補間値を出力する線形補間手段と、
前記欠落画素の欠落画素の一方側の周辺画素の平均値と、他方側の周辺画素の平均値をそれぞれ算出し、この平均値の差を信号レベル差として出力する信号レベル差の算出手段と、
前記信号レベル差が所定の閾値以下である時は前記検出手段から出力される前記仮補間値を正式な補間値として出力し、前記信号レベル差が所定の閾値以上である時は前記線形補間手段から出力される補間値を正式な補間値として出力する出力手段と、
を有することを特徴とする画像補間装置。
【請求項４】
前記仮補間値算出手段は、
前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がない凹凸型の信号変化で、かつ、
前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号レベルが前記第１の画素群（Ａｎ−１，Ａｎ＋１）より大きい場合は次の補間式（１）によって前記仮補間値Ａｎを算出し、前記第２の画素群の信号レベルが前記第１の画素群より小さい場合は次の補間式（２）によって前記仮補間値Ａｎを算出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像補間装置。
Ａｎ＝Ｃｎ×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）  ・・・ 補間式(１)
Ａｎ＝（Ｃｎ＋（Ａｎ−１＋Ａｎ＋１）／２）×（Ａｎ−１＋Ａｎ＋１）／（Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)  ・・・ 補間式(２)
【請求項５】
前記仮補間値算出手段は、
前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がある傾斜型で、かつ前記第１の画素群（Ａｎ−１，Ａｎ＋１）と前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の関係が、
Ａｎ−１＜Ａｎ＋１かつＣｎ−１＜Ｃｎ＋１の場合は次の補間式（３）によって前記仮補間値を算出し、Ａｎ−１＞Ａｎ＋１かつＣｎ−１＜Ｃｎ＋１の場合は次の補間式（４）によって前記仮補間値を算出し、Ａｎ−１＞Ａｎ＋１かつＣｎ−１＞Ｃｎ＋１の場合は次の補間式（５）によって前記仮補間値を算出し、Ａｎ−１＜Ａｎ＋１かつＣｎ−１＞Ｃｎ＋１の場合は次の補間式（６）によって前記仮補間値を算出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像補間装置。
Ａｎ＝（Ｃｎ−Ｃｎ−１）×（Ａｎ＋１−Ａｎ−１）／（Ｃｎ＋１−Ｃｎ−１）＋Ａｎ−１・・・補間式(３)
Ａｎ＝（Ｃｎ−Ｃｎ−１）×（Ａｎ−１−Ａｎ＋１）／（Ｃｎ＋１−Ｃｎ−１）＋Ａｎ＋１・・・補間式(４)
Ａｎ＝（Ｃｎ−Ｃｎ＋１）×（Ａｎ−１−Ａｎ＋１）／（Ｃｎ−１−Ｃｎ＋１）＋Ａｎ＋１・・・補間式(５)
Ａｎ＝（Ｃｎ−Ｃｎ＋１）×（Ａｎ＋１−Ａｎ−１）／（Ｃｎ−１−Ｃｎ＋１）＋Ａｎ−１・・・補間式(６)
【請求項６】
前記仮補間値算出手段は、
前記基本フレームでは前記欠落画素Ａｎの両端画素Ａn-1，Ａｎ＋１の平均値を求め、前記比較フレームでは前記基本パターンの欠落画素と同じ位置関係にある画素Ｃｎとその両端画素Ｃｎ−１，Ｃｎ＋１から信号勾配を求め、これらを加算する次の補間式（７）により求めることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像補間装置。
Ａｎ＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎ−Ｃｎ−１）＋（Ｃｎ−Ｃｎ＋１））／２・・・補間式(７)
【請求項７】
前記仮補間値算出手段は、
前記基本フレームでは前記欠落画素Ａｎを除いた少なくとも３画素Ａｎ−３，Ａｎ−２，Ａｎ−１の平均値Ａavを求め、前記比較フレームでは前記基本パターンの欠落画素と同じ位置関係にある画素Ｃｎを除いた少なくとも３画素Ｃｎ−３，Ｃｎ−２，Ｃｎ−１の平均値Ｃavを求め、これらの平均値の差分から仮補間用のオフセット調整値（Ａav−Ｃav）を求め、この求めた仮補間用のオフセット調整値に、基本パターンの欠落画素と同じ位置関係にある比較パターンの画素Ｃｎの値を加算する次の補間式（８）により求めることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像補間装置。
Ａav＝（Ａｎ−３＋Ａｎ−２＋Ａｎ−１）／(ｐｘ−１)
Ｃav＝（Ｃｎ−３＋Ｃｎ−２＋Ｃｎ−１）／(ｐｘ−１)
Ａｎ＝Ｃｎ＋Ａav−Ｃav・・・補間式(８)
ただし、ｐｘ：フレームの画素数（４以上）
【請求項８】
前記複数のパターンマッチング処理手段は、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する前記比較フレームを用いてオフセット調整値を算出するオフセット調整値算出手段を更に有し、
前記オフセット調整値算出手段は、前記仮補間値を持つ前記基本フレームの平均値Ａａｖとそれに対応する前記比較フレームの平均値Ｃａｖを算出し、前記平均値Ｃａｖと前記平均値Ａａｖの差分によりオフセット調整値（Ｃａｖ−Ａａｖ）を算出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像補間装置。
【請求項９】
前記仮補間値算出手段は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）を補間する場合、
前記補間式（１）に代えて次の補間式（９）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（２）に代えて次の補間式（10）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出する
ことを特徴とする請求項４に記載の画像補間装置。
Ａｎ1＝Ｃｎ１×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）
Ａｎｍ＝Ｃｎｍ×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）・・・・・・補間式(９)
Ａｎ1＝(Ｃｎ１＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)
Ａｎｍ＝(Ｃｎｍ＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)・・・ 補間式(10)
ただし、比較画素Ｃｎ１，Ｃｎｍは、欠陥画素Ａｎ１，Ａｎｍに対応する前記比較フレームの画素
【請求項１０】
前記仮補間値算出手段は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）を補間する場合、
前記補間式（３）に代えて次の補間式（11）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（４）に代えて次の補間式（12）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（５）に代えて次の補間式（13）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（６）に代えて次の補間式（14）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出する
ことを特徴とする請求項５に記載の画像補間装置。
Ａｎ1＝(Ｃｎ1−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１・・・補間式(11)
Ａｎ1＝(Ｃｎ1−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１・・・補間式(12)
Ａｎ1＝(Ｃｎ1−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１・・・補間式(13)
Ａｎ1＝(Ｃｎ1−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１・・・補間式(14)
ただし、比較画素Ｃｎ1，Ｃｎｍは、欠陥画素Ａｎ1，Ａｎｍに対応する前記比較フレームの画素
【請求項１１】
前記仮補間値算出手段は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）を補間する場合、
前記補間式（７）に代えて次の補間式(15)よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ1‥Ａｎｍを算出することを特徴とする請求項６に記載の画像補間装置。
Ａｎ1＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎ1−Ｃｎ−１）＋（Ｃｎ1−Ｃｎ＋１））／２
Ａｎｍ＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎｍ−Ｃｎ−１）＋（Ｃｎｍ−Ｃｎ＋１））／２・・・補間式(15)
ただし、比較画素Ｃｎ1，Ｃｎｍは、欠陥画素Ａｎ1，Ａｎｍに対応する前記比較フレームの画素
【請求項１２】
前記複数のパターンマッチング処理手段は、前記複数の比較フレーム毎に算出された前記オフセット調整値をそれぞれの前記基本フレームに加算して、このオフセット調整されたそれぞれの前記基本フレームと、それに対応する前記比較フレームの同じ位置関係にある画素同士のそれぞれの差分を合計して、前記差分合計を算出する差分合計算出手段を更に有することを特徴とする請求項８に記載の画像補間装置。
【請求項１３】
前記複数のパターンマッチング処理手段は、
それぞれの前記仮補間値を持つ前記基本フレームの各画素のエッジ成分を算出する第１エッジ成分算出部と、
前記比較フレームの各画素のエッジ成分を算出する第２エッジ成分算出部と、
前記第１及び第２エッジ成分算出部からの出力を受け、前記基本フレームと前記比較フレームの同じ位置関係にある画素同士のエッジ成分のそれぞれの差分を絶対値で合計値を算出する差分合計算出手段と、
を更に有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像補間装置。
【請求項１４】
前記第１及び第２エッジ成分算出部は、前記基本フレームと前記比較フレームの前記エッジ成分を１次微分フィルタ又は２次微分フィルタによって算出することを特徴とする請求項１３に記載の画像補間装置。
【請求項１５】
多数の画像読取素子が直線状に配列されたコンタクトイメージセンサを複数連結し、その連結部を欠落画素として補間する画像補間プログラムであって、
前記欠落画素の周辺画素から、前記欠落画素を先頭又は末尾の位置とする３つ以上の連続する画素で構成される基本フレームと、少なくとも１つの画素はオーバーラップしていない連続する画素であって前記基本フレームと同じ画素数で構成される複数の比較フレームと抽出する周辺画素抽出機能と、
前記欠落画素の前後の画素から成る第１の画素群と、前記複数の比較フレームの前記欠落画素と同じ位置の画素とその前後の画素から成る第２の画素群の信号レベル及び信号変化量に基づき、前記複数の比較フレーム毎に仮補間値を算出する仮補間値算出機能と、
前記複数の比較フレーム毎に算出された前記仮補間値を前記基本フレームの前記欠落画素に代入し、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する前記比較フレームの同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計してパターンマッチングの度合いを算出する複数のパターンマッチング処理機能と、
前記複数のパターンマッチング処理機能から出力される前記差分合計の最も小さいものに対応する前記仮補間値を正式な補間値として出力する出力機能と、
を有することを特徴とする画像補間プログラム。
【請求項１６】
前記仮補間値算出機能は、
前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がない凹凸型の信号変化で、かつ、
前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号レベルが前記第１の画素群（Ａｎ−１，Ａｎ＋１）より大きい場合は次の補間式（１）によって前記仮補間値Ａｎを算出し、前記第２の画素群の信号レベルが前記第１の画素群より小さい場合は次の補間式（２）によって前記仮補間値Ａｎを算出することを特徴とする請求項１５に記載の画像補間プログラム。
Ａｎ＝Ｃｎ×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）  ・・・ 補間式(１)
Ａｎ＝（Ｃｎ＋（Ａｎ−１＋Ａｎ＋１）／２）×（Ａｎ−１＋Ａｎ＋１）／（Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)  ・・・ 補間式(２)
【請求項１７】
前記仮補間値算出機能は、
前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がある傾斜型で、かつ前記第１の画素群（Ａｎ−１，Ａｎ＋１）と前記第２の画素群（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の関係が、
Ａｎ−１＜Ａｎ＋１かつＣｎ−１＜Ｃｎ＋１の場合は次の補間式（３）によって前記仮補間値を算出し、Ａｎ−１＞Ａｎ＋１かつＣｎ−１＜Ｃｎ＋１の場合は次の補間式（４）によって前記仮補間値を算出し、Ａｎ−１＞Ａｎ＋１かつＣｎ−１＞Ｃｎ＋１の場合は次の補間式（５）によって前記仮補間値を算出し、Ａｎ−１＜Ａｎ＋１かつＣｎ−１＞Ｃｎ＋１の場合は次の補間式（６）によって前記仮補間値を算出することを特徴とする請求項１５に記載の画像補間プログラム。
Ａｎ＝（Ｃｎ−Ｃｎ−１）×（Ａｎ＋１−Ａｎ−１）／（Ｃｎ＋１−Ｃｎ−１）＋Ａｎ−１・・・補間式(３)
Ａｎ＝（Ｃｎ−Ｃｎ−１）×（Ａｎ−１−Ａｎ＋１）／（Ｃｎ＋１−Ｃｎ−１）＋Ａｎ＋１・・・補間式(４)
Ａｎ＝（Ｃｎ−Ｃｎ＋１）×（Ａｎ−１−Ａｎ＋１）／（Ｃｎ−１−Ｃｎ＋１）＋Ａｎ＋１・・・補間式(５)
Ａｎ＝（Ｃｎ−Ｃｎ＋１）×（Ａｎ＋１−Ａｎ−１）／（Ｃｎ−１−Ｃｎ＋１）＋Ａｎ−１・・・補間式(６)
【請求項１８】
前記仮補間値算出機能は、
前記基本フレームでは前記欠落画素Ａｎの両端画素Ａｎ−１，Ａｎ＋１の平均値を求め、前記比較フレームでは前記基本パターンの欠落画素と同じ位置関係にある画素Ｃｎとその両端画素Ｃｎ−１，Ｃｎ＋１から信号勾配を求め、これらを加算する次の補間式（７）により求めることを特徴とする請求項１５に記載の画像補間プログラム。
Ａｎ＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎ−Ｃｎ−１）＋（Ｃｎ−Ｃｎ＋１））／２・・・補間式(７)
【請求項１９】
前記仮補間値算出機能は、
前記基本フレームでは前記欠落画素Ａnを除いた少なくとも３画素Ａｎ−３，Ａｎ−２，Ａｎ−１の平均値Ａavを求め、前記比較フレームでは前記基本パターンの欠落画素と同じ位置関係にある画素Ｃｎを除いた少なくとも３画素Ｃｎ−３，Ｃｎ−２，Ｃｎ−１の平均値Ｃavを求め、これらの平均値の差分から仮補間用のオフセット調整値（Ａav−Ｃav）を求め、この求めた仮補間用のオフセット調整値に、基本パターンの欠落画素と同じ位置関係にある比較パターンの画素Ｃｎの値を加算する次の補間式（８）により求めることを特徴とする請求項１５に記載の画像補間プログラム。
Ａav＝（Ａｎ−３＋Ａｎ−２＋Ａｎ−１）／(ｐｘ−１)
Ｃav＝（Ｃｎ−３＋Ｃｎ−２＋Ｃｎ−１）／(ｐｘ−１)
Ａｎ＝Ｃｎ＋Ａav−Ｃav・・・補間式(８)
ただし、ｐｘ：フレームの画素数（４以上）
【請求項２０】
前記仮補間値算出機能は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）を補間する場合、
前記補間式（１）に代えて次の補間式（９）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（２）に代えて次の補間式（10）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出する
ことを特徴とする請求項１６に記載の画像補間プログラム。
Ａｎ1＝Ｃｎ１×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）
Ａｎｍ＝Ｃｎｍ×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）・・・・・・補間式(９)
Ａｎ1＝(Ｃｎ１＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)
Ａｎｍ＝(Ｃｎｍ＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)・・・ 補間式(10)
ただし、比較画素Ｃｎ１，Ｃｎｍは、欠陥画素Ａｎ１，Ａｎｍに対応する前記比較フレームの画素
【請求項２１】
前記仮補間値算出機能は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）を補間する場合、
前記補間式（３）に代えて次の補間式（11）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（４）に代えて次の補間式（12）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（５）に代えて次の補間式（13）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出し、
前記補間式（６）に代えて次の補間式（14）よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ１‥Ａｎｍを算出する
ことを特徴とする請求項１７に記載の画像補間プログラム。
Ａｎ1＝(Ｃｎ1−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１・・・補間式(11)
Ａｎ1＝(Ｃｎ1−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１・・・補間式(12)
Ａｎ1＝(Ｃｎ1−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１・・・補間式(13)
Ａｎ1＝(Ｃｎ1−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１・・・補間式(14)
ただし、比較画素Ｃｎ1，Ｃｎｍは、欠陥画素Ａｎ1，Ａｎｍに対応する前記比較フレームの画素
【請求項２２】
前記仮補間値算出機能は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）を補間する場合、
前記補間式（７）に代えて次の補間式(15)よって前記欠陥画素（Ａｎ1，‥Ａｎｍ）の仮補間値Ａｎ1‥Ａｎｍを算出することを特徴とする請求項１８に記載の画像補間プログラム。
Ａｎ1＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎ1−Ｃｎ−１）＋（Ｃｎ1−Ｃｎ＋１））／２
Ａｎｍ＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎｍ−Ｃｎ−１）＋（Ｃｎｍ−Ｃｎ＋１））／２・・・補間式(15)
ただし、比較画素Ｃｎ1，Ｃｎｍは、欠陥画素Ａｎ1，Ａｎｍに対応する前記比較フレームの画素
【請求項２３】
前記複数のパターンマッチング処理機能は、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する前記比較フレームを用いてオフセット調整値を算出するオフセット調整値算出機能を更に有し、
オフセット調整値算出機能は、前記仮補間値を持つ前記基本フレームの平均値Ａａｖとそれに対応する前記比較フレームの平均値Ｃａｖを算出し、前記平均値Ｃａｖと前記平均値Ａａｖの差分によりオフセット調整値（Ｃａｖ−Ａａｖ）を算出することを特徴とする請求項１５に記載の画像補間プログラム。
【請求項２４】
前記複数のパターンマッチング処理機能は、前記複数の比較フレーム毎に算出された前記オフセット調整値をそれぞれの前記基本フレームに加算して、このオフセット調整されたそれぞれの前記基本フレームと、それに対応する前記比較フレームの同じ位置関係にある画素同士のそれぞれの差分を合計して、前記差分合計を算出することを特徴とする請求項２３に記載の画像補間プログラム。
【請求項２５】
前記複数のパターンマッチング処理機能は、
それぞれの前記仮補間値を持つ前記基本フレームの各画素のエッジ成分を算出する第１エッジ成分算出機能と、
前記比較フレームの各画素のエッジ成分を算出する第２エッジ成分算出機能と、
前記第１及び第２エッジ成分算出部からの出力を受け、前記基本フレームと前記比較フレームの同じ位置関係にある画素同士のエッジ成分のそれぞれの差分を絶対値で合計値を算出する差分合計算出機能と、
を更に有することを特徴とする請求項１５に記載の画像補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のコンタクトイメージセンサ（ＣＩＳ）が連結されることにより画像読取センサが構成されている画像読取装置に用いられ、画像読取センサによって読み取られた画像データに基づいて、コンタクトイメージセンサの連結部分に対応する位置の画素データを補間する画像補間装置および画像補間プログラムに関する。
【背景技術】
【０００２】
ＣＣＤ素子で構成されているコンタクトイメージセンサ（ＣＩＳ）は、複写機などの画像形成装置（ＭＦＰ）、ファクシミリ装置、スキャナ等の機器に搭載され、原稿画像の読取装置として重要な役目を担っている。コンタクトイメージセンサは等倍センサであるため、原稿画像を読み取るためには、原稿用紙の幅以上の長さが必要となる。そこで、通常は、プリント基板上に搭載した複数のコンタクトイメージセンサを連結することにより、画像読取センサを構成している。
【０００３】
このように複数のコンタクトイメージセンサを連結した場合、解像度が高くなると、コンタクトイメージセンサの画像読取素子の間隔が狭くなるので、コンタクトイメージセンサの連結部分では、画素データが読み取れなくなる。
【０００４】
図２１は、プリント基板にＣＣＤ等の画像読取素子を搭載した複数のコンタクトイメージセンサを並べて構成した画像読取センサを示している。
【０００５】
画像読取センサ１０は、例えば第１のコンタクトイメージセンサ（ＣＩＳ）１０ａと第２のコンタクトイメージセンサ（ＣＩＳ）１０ｂとが連結されることにより、構成されている。ここでは、２つのコンタクトイメージセンサ１０ａ、１０ｂとしたが、搭載される機器に応じて３つ以上のコンタクトイメージセンサが連結されるものである。全ての連結部の補間は、同じ動作で処理されるものである。各コンタクトイメージセンサ１０ａ、１０ｂには、等間隔をおいてＣＣＤ素子の画像読取素子２０が設けられている。
【０００６】
そして、コンタクトイメージセンサ１０ａ内の各画像読取素子２０に対応する画素をａ１〜ａ９で表している。また、コンタクトイメージセンサ１０ｂ内の各画像読取素子２０に対応する画素をｂ１〜ｂ９として表している。コンタクトイメージセンサ１０ａとコンタクトイメージセンサ１０ｂとの連結部である補間対象画素は、欠落画素位置Ｘで表す。ここでは、欠落画素位置Ｘの前後９つの各画像読取素子２０に対応する画素ａ１〜ａ９，ｂ１〜ｂ９のみを表し、他の画像読取素子は省略している。
【０００７】
この欠落画素を補間するものとして、特許文献１がある。この特許文献１では、コンタクトイメージセンサの連結部分に対応する補間対象画素位置が網点領域内であるか非網点領域内であるかを判別する判別手段を設けている。その判別手段によって補間対象画素位置が非網点領域であると判定された場合は、線形補間によって補間対象画素の画素データを生成し、網点領域であると判定された場合はパターンマッチングによって補間対象画素の画素データを生成して、補間対象画素位置に挿入する方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−１４２６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しなしながら、特許文献１の方法によれば、補間対象画素位置が網点領域内であるか非網点領域内であるかを判別する判別手段を必要とするものである。特許文献１では、網点領域内であるか非網点領域内であるかを判別する判別手段としては、PH8-149291(A1)号公報に記載される方法を提唱している。よって、そのような判別手段を必要とすることは画像処理装置が大きくなるばかりか、コストも余計に掛かる問題がある。
【００１０】
また、特許文献１の方法では、パターンマッチング処理する前の基本パターンの欠落画素には、比較パターンの対応する画素（中央の画素）をそのまま仮補間値として挿入している。これでは、比較パターンと基本パターンとの信号レベル差を考慮していないため、仮補間値の精度が低く、またパターンマッチングの検出精度も低いため、補間結果が真値より大きく外れてしまう問題がある。
【００１１】
この発明の第１の目的は、網点領域内であるか非網点領域内であるかを判別する判別手段を必要としない構成で、複数のコンタクトイメージセンサの連結部分に対応する位置の画素データを精度良く補間することができる画像補間回路、画像補間プログラムおよび画像処理装置を提供するものである。
【００１２】
また発明の第２の目的は、基本パターンの欠落画素の周辺画素および比較パターンの欠落画素に対応する周辺画素を使い、これらの信号レベル及び信号変化量に適応した仮補間値を算出し、これを基本パターンの欠落画素に挿入することにより、パターンマッチングの検出精度を向上させることができる画像補間装置および画像補間プログラムを提供するものである。
【発明が解決するための手段】
【００１３】
上記目的の達成するために、本発明の画像補間装置は、多数の画像読取素子が直線状に配列された複数のコンタクトイメージセンサの連結部を欠落画素として補間する画像補間装置において、前記欠落画素の周辺画素から、前記欠落画素を先頭又は末尾の位置とする３つ以上の連続する画素で構成される基本フレームと、少なくとも１つの画素はオーバーラップしていない連続する画素であって前記基本フレームと同じ画素数で構成される複数の比較フレームと抽出する周辺画素抽出手段と、前記欠落画素の前後の画素から成る第１の画素群と、前記複数の比較フレームの前記欠落画素と同じ位置の画素とその前後の画素から成る第２の画素群の信号レベル及び信号変化量に基づき、前記複数の比較フレーム毎に仮補間値を算出する仮補間値算出手段と、前記複数の比較フレーム毎に算出された前記仮補間値を前記基本フレームの前記欠落画素に代入し、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する比較フレームの同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計してパターンマッチングの度合いを算出する複数のパターンマッチング手段と、前記複数のパターンマッチング回路から出力される前記差分合計の最も小さいものに対応する前記仮補間値を正式な補間値として出力する出力手段と、を有することを特徴とする。
【００１４】
また、本発明の画像補間プログラムは、多数の画像読取素子が直線状に配列された複数のコンタクトイメージセンサの連結部を欠落画素として補間する画像補間プログラムであって、前記欠落画素の周辺画素から、前記欠落画素を先頭又は末尾の位置とする３つ以上の連続する画素で構成される基本フレームと、少なくとも１つの画素はオーバーラップしていない連続する画素であって前記基本フレームと同じ画素数で構成される複数の比較フレームと抽出する周辺画素抽出機能と、前記欠落画素の前後の画素から成る第１の画素群と、前記複数の比較フレームの前記欠落画素と同じ位置の画素とその前後の画素から成る第２の画素群の信号レベル及び信号変化量に基づき、前記複数の比較フレーム毎に仮補間値を算出する仮補間値算出機能と、前記複数の比較フレーム毎に算出された前記仮補間値を前記基本フレームの前記欠落画素に代入し、それぞれの前記仮補間値を持つ前記基本フレームと、それに対応する比較フレームの同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計してパターンマッチングの度合いを算出する複数のパターンマッチング機能と、前記複数のパターンマッチング機能から出力される前記差分合計の最も小さいものに対応する前記仮補間値を正式な補間値として出力する出力機能と、を有することを特徴とする。
【発明の効果】
【００１５】
この発明によれば、網点領域内であるか非網点領域内であるかを判別する判別手段を用いることなく、複数のコンタクトイメージセンサの連結部分に対応する位置の画素データを精度良く補間することができる。また、基本パターンの欠落画素の周辺画素および比較パターンの欠落画素に対応する周辺画素を使い、これらの信号レベル及び信号変化量に適応した仮補間値を算出し、これを基本パターンの欠落画素に挿入することにより、パターンマッチングの検出精度を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】１画面の補間イメージを示す図。
【図２】本発明のパターンマッチングの基本概念を説明するために表現した図。
【図３】本発明のパターンマッチング処理を行う基本パターンの欠落画素の位置および仮補間に使用する画素と、比較パターンの仮補間に使用する画素を示す図。
【図４】基本パターンと比較パターンの信号レベルにより算出されるオフセット調整Ｖoffを示す図。
【図５】基本パターンの５画素の信号レベルのパターンと、比較パターンの５画素に信号レベルのマッチング度合いが高い例を示す図。
【図６】基本パターンの５画素の信号レベルのパターンと、比較パターンの５画素に信号レベルのマッチング度合いが低い例を示す図。
【図７】第１の実施形態における基本パターンである基本フレームと、複数の比較パターンである複数の比較フレームの位置関係を示す図。
【図８】第１の施形態に係わる使う画素の信号レベル及び信号変化の例を示す図。
【図９】第１の実施形態を適用して画像補間した場合と、従来技術により画像補間した場合の第１の実験例を示す図。
【図１０】第１の実施形態を適用して画像補間した場合と、従来技術により画像補間した場合の第２の実験例を示す図。
【図１１】第１の実施形態の画像補間装置の構成を示すブロック図。
【図１２】第１の実施形態のパターンマッチング処理部の詳細な構成を示すブロック図である。
【図１３】第１の実施形態の画像補間装置の動作を示すフローチャート。
【図１４】第１の発明の他の実施形態の画像補間装置の構成を示すブロック図。
【図１５】第１の発明の更に他の実施形態の画像補間装置の構成を示すブロック図。
【図１６】第２の実施形態で用いられる２つの微分フィルタを示す図である。
【図１７】第２の実施形態の画像補間装置を示すブロック図である。
【図１８】第２の実施形態の画像補間装置の動作を示すフローチャートである。
【図１９】第３の実施形態における複数ビットの欠陥画素の補間する場合の仮補間に使用する画素の例を示す図。
【図２０】第３の実施形態における線形補間の例を示す図。
【図２１】プリント基板にＣＣＤの画像読取素子を搭載した複数のコンタクトイメージセンサを並べて構成した画像読取センサを示す図。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、この発明の実施例について説明する。
【００１８】
図１は、コンタクトイメージセンサ（ＣＩＳ）の１画面の補間イメージを示す図である。本発明のパターンマッチング処理は、水平方向（主走査）の１ライン単位で行い、連結部の１画素分の欠落画素は、その周辺の画素を使用する。これを垂直方向（副走査）に順次処理していくことになる。
【００１９】
（基本概念の説明）
次に、本発明の基本概念について説明する。図２は、本発明のパターンマッチングの基本概念を表現した図である。ここでは、マッチング処理を３画素とした例である。
【００２０】
図２のように、欠落画素Ｘと、その周辺の３画素を基本パターン１０ｘとする。そして、基本パターン１０ｘと、その周辺の同じ画素数の複数の比較パターン１０ｙ１，１０ｙ２，１０ｙ３，１０ｙ４，１０ｙ５，‥のそれぞれとパターンマッチングを行う。この時、基本パターン１０ｘの欠落画素Ｘには、基本パターン１０ｘの欠落画素部と同じ位置関係にある比較パターン１０ｙ１，１０ｙ２，１０ｙ３，１０ｙ４，１０ｙ５，‥の画素の値を仮補間値として挿入する。そして、基本パターン１０ｘと比較パターン１０ｙ１，１０ｙ２，１０ｙ３，１０ｙ４，１０ｙ５，‥が最もマッチングした時の仮補間値を、正式な補間値とするものである。
【００２１】
本発明では、上記基本概念に加えて次の特徴点（１）〜（３）を持つ。
【００２２】
（１）パターンマッチング処理する際、欠落画素Ｘの位置は、基本パターンの先頭または末尾になる位置とする。よって、本発明では、欠落画素Ｘが基本パターン１０ｘの先頭または末尾にしているので、連続データにすることによりパターンマッチングの検出精度を向上させることができる。ここでは、欠落画素Ｘが基本パターン１０ｘの先頭または末尾の位置としたが、先に先頭位置で補間し、次に末尾位置で補間して、どちらか良い方を選択してもよい。又は、先に末尾位置で補間し、次に先頭位置で補間して、どちらか良い方を選択してもよい。
【００２３】
図３の例では、Ａｎ−４〜Ａｎの５画素からなる基本パターン１０ｘの欠落画素Ｘが末尾の位置（Ａｎ）とする場合を示している。勿論、欠落画素Ｘを先頭の位置（Ａｎ−４）に設定するものであっても良い。
【００２４】
（２）パターンマッチング処理する前に、基本パターン１０ｘの欠落画素Ｘ（Ａｎ）の仮補間に使う画素には、欠落画素Ｘの両端画素（Ａｎ−１，Ａｎ＋１）とする。また、比較パターン（例えば、比較パターン１０ｙ１とする。以下同じ）の仮補間に使う画素には、欠落画素Ｘとその両端画素と同じ位置関係にある比較パターン１０ｙ１の画素（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）を使う。そして、これらの画素（Ａｎ−１，Ａｎ＋１）と（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号レベル及び信号変化量に適応した仮補間値を算出し、この値を挿入する。
【００２５】
本発明では、欠落画素Ｘの周辺画素を使い、これらの信号レベル及び信号変化量に適応した仮補間値を算出し、これを基本パターンの欠落画素Ｘ（Ａｎ）に挿入することにより、パターンマッチングの検出精度を向上させている。また、仮補間値が最終的な補間値となるため、補間結果そのものの精度も向上させることができる。
【００２６】
（３）パターンマッチング処理は、上記（２）の処理にて欠落画素Ｘ（Ａｎ）に仮補間値が挿入された基本パターン１０ｘ（Ａｎ−４，Ａｎ−３，Ａｎ−２，Ａｎ−１，Ａｎ）と比較パターン１０ｙ１（Ｃｎ−４，Ｃｎ−３，Ｃｎ−２，Ｃｎ−１，Ｃｎ）の同じ位置関係にある画素同士のそれぞれの差分を絶対値で合計する計算を行う。この差分合計の計算の前には、２つのパターン全体の信号レベルを合わせるため、図４のように２つのパターンの平均値の差からオフセット調整値Ｖoffを求めオフセット調整する。
【００２７】
上記（３）のパターンマッチング処理により、ある探索範囲内で、差分の絶対値の合計が最も小さい時のパターンが、マッチング度合いが最も高いと判断できるため、この時の仮補間値を正式な補間値とする。
【００２８】
次に、パターンマッチング処理のマッチング度合いについて説明する。
【００２９】
図５は、基本パターン１０ｘの５画素の信号レベルのパターンと、比較パターン１０ｙ１の５画素に信号レベルのマッチング度合いが高い例を示している。また、図６は、基本パターン１０ｘの５画素の信号レベルのパターンと、比較パターン１０ｙ１の５画素に信号レベルのマッチング度合いが低い例を示している。
【００３０】
（第１の実施形態）
次に、本発明の第１の実施形態を、図７乃至図１２を参照して説明する。
【００３１】
図７は、基本概念で説明した基本パターンにあたる基本フレームと、複数の比較パターンにあたる複数の比較フレームの位置関係を示す図である。
【００３２】
図７において、直列に並べた符号１〜１９は、図示しない画像読取素子によって読み取られた画素を示し、ここでは画素１０が欠落画素Ｘの位置とする。そして、欠落画素Ｘを基本フレームの末尾の位置とする場合、基本フレームＦＸは画素６−１０となる。一方、複数の比較フレームは、基本フレームＦＸの周辺から探索される。基本フレームＦＸの画素数は特に限定されるものではないが、少なくとも３画素必要である。
【００３３】
例えば、パターンマッチングの探索範囲を欠落画素Ｘの周辺の両サイドの画素１〜１９（ただし、欠落画素Ｘの画素１０を除く）の合計１８画素とし、使用する１フレームの画素を５画素とした場合は、図７のように基本フレームＦＸと比較フレームＦ１〜Ｆ１２までの探索が行われる。比較フレームＦ１乃至Ｆ１２は、少なくとも１つの画素はオーバーラップしていない連続する画素であって基本フレームＦＸと同じ画素数で構成されている。比較フレームＦ１乃至Ｆ１２の数は、特に限定されるものではない。また、この時のパターンマッチング処理に使う画素（フレーム）及び、欠落画素Ｘの位置関係は図３のようになる。
【００３４】
なお、図７において、比較フレームＦ２乃至Ｆ１２は、前段の比較フレーム（Ｆ１〜Ｆ１１）から１画素ずつ後ろにスライドさせたものであり、比較フレームＦ１乃至Ｆ１２の末尾の画素は、画素５〜画素１９までを辿ることになる。この中で画素９〜１１は、比較フレームの末尾となることを除外している。これは、仮補間する時に、比較フレームの末尾の画素とその両端の画素を使うが、これに画素１０の欠落画素Ｘが含まれると、値がなく仮補間できないためである。
【００３５】
これにより、基本フレームＦＸに対する比較フレームＦ１は画素１−５、比較フレームＦ２は画素２−６、比較フレームＦ３は画素３−７、比較フレームＦ４は画素４−８、比較フレームＦ５は画素８−１２、比較フレームＦ６は画素９−１３、比較フレームＦ７は画素１０−１４、比較フレームＦ８は画素１１−１５、比較フレームＦ９は画素１２−１６、比較フレームＦ１０は画素１３−１７、比較フレームＦ１１は画素１４−１８、比較フレームＦ１２は画素１５−１９となる。
【００３６】
次に、欠落画素Ｘの仮補間値の算出からパターンマッチング処理による補間値の出力までの演算処理（ステップ１〜３）について説明する。
【００３７】
欠落画素Ｘの仮補間値は、基本フレームＦＸの末尾になる位置とした場合、基本フレームＦＸの欠落画素Ｘ（Ａｎ）の両端画素群（図３で説明した画素Ａｎ−１，Ａｎ＋１）と、この欠落画素Ｘとその両端画素と同じ位置関係にある比較フレームＦｉ（ｉは１乃至１２）の画素群（図３で説明した画素Ｃｎ−１，Ｃｎ，Ｃｎ＋１）を用いて算出する。そして、２つの画素群の信号レベル及び信号変化量に適応した仮補間値を算出し、基本フレームＦＸの欠落画素Ｘ（Ａｎ）に挿入（代入）する。
【００３８】
本実施形態では、この仮補間値の計算は、２つの画素群の信号レベル及び信号変化によって、補間式を使い分けて精度を向上させている。図８は、２つの画素群の信号レベル及び信号変化の例を示す図である。
【００３９】
＜ステップ１＞
図８（ａ）のように、比較フレームＦｉ（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がない凹凸型の信号変化で、かつ、比較フレームＦｉの信号レベルが基本フレームＦＸ（Ａｎ−１，Ａｎ＋１）より大きい場合は、次の補間式（１）を使う。
【００４０】
Ａｎ＝Ｃｎ×（Ａｎ−１＋Ａｎ＋１)／（Ｃｎ−１＋Ｃｎ＋１）  ・・・ 補間式(１)
図８（ｂ）のように、比較フレームＦｉ（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がない凹凸型の信号変化で、かつ、比較フレームＦｉの信号レベルが基本フレームＦＸ（Ａｎ−１，Ａｎ＋１）より小さい場合は、次の補間式（２）を使う。
【００４１】
Ａｎ＝（Ｃｎ＋（Ａｎ−１＋Ａｎ＋１）／２）×（Ａｎ−１＋Ａｎ＋１）／（Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)  ・・・ 補間式(２)
図８（ｃ）のように、比較フレームＦｉ（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がある傾斜型で、Ａｎ−１＜Ａｎ＋１かつＣｎ−１＜Ｃｎ＋１の場合は、次の補間式（３）を使う。
【００４２】
Ａｎ＝（Ｃｎ−Ｃｎ−１）×（Ａｎ＋１−Ａｎ−１）／（Ｃｎ＋１−Ｃｎ−１）＋Ａｎ−１・・・補間式(３)
図８（ｄ）のように、比較フレームＦｉ（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がある傾斜型で、Ａｎ−１＞Ａｎ＋１かつＣｎ−１＜Ｃｎ＋１の場合は、次の補間式（４）を使う。
【００４３】
Ａｎ＝（Ｃｎ−Ｃｎ−１）×（Ａｎ−１−Ａｎ＋１）／（Ｃｎ＋１−Ｃｎ−１）＋Ａｎ＋１・・・補間式(４)
図８（ｅ）のように、比較フレームＦｉ（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がある傾斜型で、Ａｎ−１＞Ａｎ＋１かつＣｎ−１＞Ｃｎ＋１の場合は、次の補間式（５）を使う。
【００４４】
Ａｎ＝（Ｃｎ−Ｃｎ＋１）×（Ａｎ−１−Ａｎ＋１）／（Ｃｎ−１−Ｃｎ＋１）＋Ａｎ＋１・・・補間式(５)
図８（ｆ）のように、比較フレームＦｉ（Ｃｎ−１，Ｃｎ，Ｃｎ＋１）の信号変化に連続性がある傾斜型で、Ａｎ−１＜Ａｎ＋１かつＣｎ−１＞Ｃｎ＋１の場合は、次の補間式（６）を使う。
【００４５】
Ａｎ＝（Ｃｎ−Ｃｎ＋１）×（Ａｎ＋１−Ａｎ−１）／（Ｃｎ−１−Ｃｎ＋１）＋Ａｎ−１・・・補間式(６)
上記補間式（１）乃至（６）は、図８（ａ）乃至（ｆ）の信号変化に応じて選択するものであるが、図８（ａ）乃至（ｆ）の信号変化に関係なく、次に示す補間式（７），（８）からも算出することができる。この計算によれば、割算処理を簡単に行うことができる。
【００４６】
即ち、補間式(７)による仮補間値は、基本パターンでは欠落画素Ｘ（Ａｎ）の両端画素Ａｎ−１，Ａｎ＋１の平均値を求め、比較パターンでは基本パターンの欠落画素と同じ位置関係にある画素Ｃnとその両端画素Ｃｎ−１，Ｃｎ＋１から信号勾配を求め、これらを加算することにより欠落画素Ｘ（Ａｎ）の仮補間値を求めるものである。即ち、補間式(７)は以下のようになる。
【００４７】
Ａｎ＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃn−Ｃｎ−１）＋（Ｃn−Ｃｎ＋１））／２・・・補間式(７)
また、補間式(８)による仮補間値は、基本パターンでは欠落画素Ｘ（Ａｎ）を除いた、例えば４画素Ａｎ−４，Ａｎ−３，Ａｎ−２，Ａｎ−１の平均値Ａavを求める。また、比較パターンでは基本パターンの欠落画素と同じ位置関係にある画素Ｃｎを除いた例えば４画素Ｃｎ−４，Ｃｎ−３，Ｃｎ−２，Ｃｎ−１の平均値Ｃavを求める。そして、これらの平均値Ａav，Ｃavの差分から仮補間用のオフセット調整値（Ａav−Ｃav）を求める。この求めた仮補間用のオフセット調整値に、基本パターンの欠落画素と同じ位置関係にある比較パターンの画素Ｃｎの値を加算することにより欠落画素Ｘ（Ａｎ）の仮補間値を求めるものである。即ち、補間式(８)は以下のようになる。
【００４８】
Ａav＝（Ａｎ−４＋Ａｎ−３＋Ａｎ−２＋Ａｎ−１）／(ｐｘ−１)
Ｃav＝（Ｃｎ−４＋Ｃｎ−３＋Ｃｎ−２＋Ｃｎ−１）／(ｐｘ−１)
Ａｎ＝Ｃｎ＋Ａav−Ｃav・・・補間式(８)
ただし、ｐｘ：フレームの画素数（本実施例では５）。ここでは、４画素の平均値を求めるとしてが、少なくとも３画素であればよい。
【００４９】
＜ステップ２＞
次に、本実施形態では、基本フレームＦＸと比較フレームＦｉの２つのフレーム全体の信号レベルを合わせるためのオフセット値を算出するために、基本フレームＦＸと比較フレームＦｉのフレーム平均値Ａａｖ，Ｃａｖを算出する。図３のフレーム平均値Ａａｖ，Ｃａｖの算出式は、以下の通り。
【００５０】
基本フレームＦＸの平均値Ａａｖ＝（Ａｎ−４＋Ａｎ−３＋Ａｎ−２＋Ａｎ−１＋Ａｎ）／ｐｘ
比較フレームＦｉの平均値Ｃａｖ＝（Ｃｎ−４＋Ｃｎ−３＋Ｃｎ−２＋Ｃｎ−１＋Ｃｎ）／ｐｘ
ｐｘは、フレームの画素数（実施形態では「５」）
次に、基本フレームＦＸと比較フレームＦｉの同じ位置関係にある画素同士（図３中のＡｎ−４とＣｎ−４，Ａｎ−３とＣｎ−３，Ａｎ−２とＣｎ−２，Ａｎ−１とＣｎ−１，ＡｎとＣｎ）のそれぞれの差分を絶対値で合計Ｓして算出する。
【００５１】
Ｓ＝abs（Ｃｎ−４−（Ａｎ−４＋Ｃａｖ−Ａａｖ）＋abs（Ｃｎ−３−（Ａｎ−３＋Ｃａｖ−Ａａｖ）＋abs（Ｃｎ−２−（Ａｎ−２＋Ｃａｖ−Ａａｖ）＋abs（Ｃｎ−１−（Ａｎ−１＋Ｃａｖ−Ａａｖ）＋abs（Ｃｎ−（Ａｎ＋Ｃａｖ−Ａａｖ）
absは、絶対値を意味する。
【００５２】
この差分を算出する際は、図４のように比較フレームＦｉと基本フレームＦＸとの平均値の差でオフセット調整を行って計算される。
【００５３】
＜ステップ３＞
ステップ１とステップ２の処理を探索フレーム数だけ実行する。図７の例では、１２フレーム分実行する。次に、探索フレーム数分の比較フレームＦｉと基本フレームＦＸの差分データにおいて、この中で最も差分データが小さい時のフレームがパターンマッチングの度合いが高いと判断できるため、この時の仮補間値を正式な補間値とする。
【００５４】
本実施形態によれば、周辺画素とのパターンマッチング処理により、最もマッチングした画素を使って補間するため、補間性能が向上し、網点画像では縦縞が改善され、画像のエッジ部では偽色が改善される。
【００５５】
図９および図１０は、本実施形態を適用して画像補間した場合と、従来技術により画像補間した場合の例を示している。図９および図１０からの明らかなように、本発明の方が、網点画像では縦縞が改善され、画像のエッジ部では偽色が改善されていることが分かる。
【００５６】
図１１は、上述したパターンマッチング処理を実現する画像補間装置１００の構成を示すブロック図である。また、図１２は、図１１の１つのパターンマッチング処理部１２０の内部処理を示すブロックである。
【００５７】
図１１において、画像補間装置１００は、欠落画素の周辺画素を抽出する周辺画素抽出部１１０と、探索フレーム数分のパターンマッチング処理部１２０-1〜１２０-nと、パターンマッチング処理部１２０-1〜１２０-nで算出された差分合計の中から最も小さい値を検出する最小値検出部１３０と、検出した最小値が得られた仮補間値を正補間値として出力する補間値出力部１４０とから構成される。これらの構成は、ハードウェア又はソフトウェアによって構成して良い。
【００５８】
周辺画素抽出部１１０は、コンタクトイメージセンサ（ＣＩＳ）を構成する画像読取チップの数および各画像読取チップを構成するＣＣＤ素子数から、予め欠落画素Ｘの周辺の画素位置が設計により求められる。その求められた設計位置の画素データを取り込み、図７に示した基本フレームＦＸと比較フレームＦ１乃至Ｆ１２の画素データを抽出して、各パターンマッチング処理部１２０-1〜１２０-nへ出力する。
【００５９】
パターンマッチング処理部１２０-1〜１２０-nは、図７で示したパターンマッチングであれば基本フレームＦＸと各比較フレームＦ１乃至Ｆ１２を処理するために、１２個のパターンマッチング処理部が必要となる。パターンマッチング処理部１２０-1〜１２０-nの動作は、図１２で詳述する。
【００６０】
差分合計の最小値検出部１３０は、各パターンマッチング処理部１２０-1〜１２０-nで算出された、例えば１２の差分合計値の中から最も小さい値を検出する。最も小さい値を検出するには、２つの信号を比較する比較回路を１２個用いて検出することができる。補間値出力部１４０は、最小値検出部１３０が検出した最小値が得られた仮補間値を正補間値として出力するものである。
【００６１】
パターンマッチング処理部１２０-1〜１２０-nは、図１２に示す回路で構成されている。
【００６２】
即ち、各パターンマッチング処理部１２０-1〜１２０-nは、基本フレーム画素抽出部１２１、比較フレーム画素抽出部１２２、仮補間用画素抽出部１２３、仮補間値算出部１２４、仮補間値挿入部１２５、オフセット調整値算出部１２６、オフセット調整部１２７、および差分合計算出部１２８から構成される。これらの構成は、ハードウェア又はソフトウェアによって構成して良い。
【００６３】
図１１の周辺画素抽出部１１０で抽出された基本フレームＦＸは、基本フレーム画素抽出部１２１に出力される。また、周辺画素抽出部１１０で抽出された比較フレームＦｉは、比較フレーム画素抽出部１２２に出力される。また、周辺画素抽出部１１０で抽出された基本フレームＦＸおよび比較フレームＦｉの仮補間値の算出に使用する画素は、仮補間用画素抽出部１２３に出力される。
【００６４】
仮補間用画素抽出部１２３からの仮補間に用いられる画素は、仮補間値算出部１２４に入力される。また、基本フレーム画素抽出部１２１からの画素と、仮補間値算出部１２４で算出された仮補間値は、仮補間値挿入部１２５に入力される。
【００６５】
比較フレーム画素抽出部１２２からの画素と仮補間値挿入部１２５とからの画素は、オフセット調整値算出部１２６に出力される。そして、仮補間値挿入部１２５からの画素とオフセット調整値算出部１２６で算出されたオフセット調整値は、オフセット調整部１２７に出力される。オフセット調整部１２７は、前段の基本フレームの画素をオフセット調整した信号を生成する。このオフセット調整部１２７で調整された基本フレームの画素と比較フレーム画素抽出部１２２からの画素が差分合計算出部１２８に出力される。
【００６６】
次に、図７、図１１、図１２、および図１３のフローチャートを参照して、画像補間装置１００の動作を説明する。ここでは、パターンマッチング処理部１２０-1が図７の基本フレームＦＸと比較フレームＦ１とを処理するものとして説明する。
【００６７】
同じ考えで、パターンマッチング処理部１２０-2が図７の基本フレームＦＸと比較フレームＦ２とのパターンマッチング処理を行い、パターンマッチング処理部１２０-3が図７の基本フレームＦＸと比較フレームＦ３とのパターンマッチング処理を行い、以下同様にして、パターンマッチング処理部１２０-nが図７の基本フレームＦＸと比較フレームＦ１２とのパターンマッチング処理を行うものとする。ただし、基本フレームＦＸには、それぞれの仮補間値が挿入されており、同じ画素データではない。
【００６８】
先ず、周辺画素抽出部１１０は、コンタクトイメージセンサ（ＣＩＳ）の設計に基づいて、欠落画素周辺の探索範囲内の画素を抽出して取り込む（図１３のステップＳ１０）。そして、図７に示した基本フレームＦＸを、各パターンマッチング処理部１２０-1〜１２０-nの基本フレーム画素抽出部１２１へ出力する（図１３のステップＳ２０）。
【００６９】
図１３のフローチャートでは、ステップＳ３０〜Ｓ１３０までの処理を比較フレーム数だけ繰り返し実行するものとして表現している。つまり、各パターンマッチング処理部１２０-1〜１２０-nに対応して比較フレームＦ１〜Ｆ１２の画素を設定後、各パターンマッチング処理部１２０-1〜１２０-nのそれぞれでステップＳ７０〜Ｓ１１０などの演算処理が実行されることを意味している。
【００７０】
以下では、パターンマッチング処理部１２０-1を例に動作を説明する。
【００７１】
パターンマッチング処理部１２０-1では、周辺画素抽出部１１０で抽出された比較フレームＦ１（図７の画素１−５）は、比較フレーム画素抽出部１２２にセットされる。また、周辺画素抽出部１１０で抽出された基本フレームＦＸの仮補間に使用する画素９，１１と、比較フレームＦ１の仮補間に使用する画素４，５，６が仮補間用画素抽出部１２３にセットされる（図１３のステップＳ４０）。
【００７２】
仮補間値算出部１２４は、仮補間用画素抽出部１２３から基本フレームＦＸの仮補間に使用する画素９，１１と比較フレームＦ１の仮補間に使用する画素４，５，６を受信すると、両信号の信号レベルおよび信号変化量に応じて上述した補間式（１）乃至（６）のいずれか１つの演算処理、又は補間式（７）の演算処理、又は補間式（８）演算処理を実行して仮補間値Ｆｘ１を算出し、仮補間値挿入部１２５及び最小値検出部１３０へ出力する（図１３のステップＳ５０）。
【００７３】
例えば、パターンマッチング処理部１２０-2では、周辺画素抽出部１１０で抽出された比較フレームＦ２（図７の画素２−６）は、比較フレーム画素抽出部１２２にセットされる。また、周辺画素抽出部１１０で抽出された基本フレームＦＸの仮補間に使用する画素９，１１と、比較フレームＦ２の仮補間に使用する画素５，６，７が仮補間用画素抽出部１２３にセットされる。仮補間値算出部１２４は、仮補間用画素抽出部１２３から基本フレームＦＸの仮補間に使用する画素９，１１と比較フレームＦ２の仮補間に使用する画素５，６，７を受信すると、両信号の信号レベルおよび信号変化量に応じて上述した補間式（１）乃至（６）のいずれか１つの演算処理、又は補間式（７）の演算処理、又は補間式（８）演算処理を実行して仮補間値Ｆｘ２を算出し、仮補間値挿入部１２５及び最小値検出部１３０へ出力する。
【００７４】
また例えば、パターンマッチング処理部１２０-12では、周辺画素抽出部１１０で抽出された比較フレームＦ１２（図７の画素１５−１９）は、比較フレーム画素抽出部１２２にセットされる。また、周辺画素抽出部１１０で抽出された基本フレームＦＸの仮補間に使用する画素９，１１と、比較フレームＦ１２の仮補間に使用する画素１８，１９，２０が仮補間用画素抽出部１２３にセットされる。仮補間値算出部１２４は、仮補間用画素抽出部１２３から基本フレームＦＸの仮補間に使用する画素９，１１と比較フレームＦ１２の仮補間に使用する画素１８，１９，２０を受信すると、両信号の信号レベルおよび信号変化量に応じて上述した補間式（１）乃至（６）のいずれか１つの演算処理、又は補間式（７）の演算処理、又は補間式（８）演算処理を実行して仮補間値Ｆｘ１２を算出し、仮補間値挿入部１２５及び最小値検出部１３０へ出力する。
【００７５】
他のパターンマッチング処理部１２０-3〜１２０-11も同じ考え方で処理されており、その説明は省略する。
【００７６】
仮補間値挿入部１２５は、仮補間値算出部１２４からの仮補間値Ｆｘ１を基本フレームＦＸの欠落画素Ｘ（画素１０）に挿入し、仮補間値Ｆｘ１を挿入した基本フレームＦＸをオフセット調整値算出部１２６とオフセット調整部１２７へ出力する（図１３のステップＳ６０）。
【００７７】
オフセット調整値算出部１２６は、この仮補間値Ｆｘ１を挿入した基本フレームＦＸの平均値Ａａｖを算出し、また、比較フレーム画素抽出部１２２からの比較フレームＦ１の平均値Ｃａｖを算出する（図１３のステップＳ７０，Ｓ８０）。更に、平均値Ｃａｖと平均値Ａａｖの差分によりオフセット調整値（Ｃａｖ−Ａａｖ）を算出してオフセット調整部１２７へ出力する（図１３のステップＳ９０）。平均値Ａａｖ，Ｃａｖの算出は、以下の通り。
【００７８】
基本フレームＦＸの平均値Ａａｖ＝（画素６＋画素７＋画素８＋画素９＋画素10）／５
比較フレームＦ１の平均値Ｃａｖ＝（画素１＋画素２＋画素３＋画素４＋画素５）／５
欠落画素Ｘ（画素１０）の値は、仮補間値Ｆｘ１である。
【００７９】
オフセット調整部１２７は、オフセット調整値算出部１２６で算出されたオフセット調整値（Ｃａｖ−Ａａｖ）を仮補間値挿入部１２５からの基本フレームＦＸに加算して、基本フレームＦＸのオフセット調整を行う（図１３のステップＳ１００）。最後に、差分合計算出部１２８は比較フレームＦ１と基本フレームＦＸの差分を合計して、差分合計値を算出して、最小値検出部１３０へ出力する（図１３のステップＳ１１０）。
【００８０】
つまり、オフセット調整部１２７と差分合計算出部１２８によって、基本フレームＦＸと比較フレームＦ１の同じ位置関係にある画素同士（図７中の画素６と画素１,画素７と画素２,画素８と画素３，画素９と画素４，画素１０と画素５）のそれぞれの差分を絶対値で合計Ｓを算出する。
【００８１】
差分合計Ｓ＝abs（画素１−（画素６＋Ｃａｖ−Ａａｖ）＋abs（画素２−（画素７＋Ｃａｖ−Ａａｖ）＋abs（画素３−（画素８＋Ｃａｖ−Ａａｖ）＋abs（画素４−（画素９＋Ｃａｖ−Ａａｖ）＋abs（画素５−（画素１０＋Ｃａｖ−Ａａｖ）
ただし、欠落画素Ｘ（画素１０）の値は、仮補間値Ｆｘ１である。
【００８２】
この算出された差分合計と仮補間値は、図示しない内部メモリに保存される（図１３のステップＳ１２０）。このステップＳ３０〜Ｓ１２０を比較フレーム数（ここでは、比較フレームＦ１〜Ｆ１２の１２回）だけ実行して、それぞれの差分合計と仮補間値を求める。
【００８３】
最小値検出部１３０は、基本フレームＦＸと比較フレームＦ１の差分合計Ｓ１と、基本フレームＦＸと比較フレームＦ２の差分合計Ｓ２と、基本フレームＦＸと比較フレームＦ３の差分合計Ｓ３と、‥‥、基本フレームＦＸと比較フレームＦ１２の差分合計Ｓ１２の中から最も小さい値の差分合計を検出する（図１３のステップＳ１４０）。そして、補間値出力部１４０は、最も小さい値の差分合計を求めた時の仮補間値を正式な補間値として出力する（図１３のステップＳ１５０）。
【００８４】
本実施形態によれば、周辺画素とのパターンマッチング処理により、最もマッチングした画素を使って補間するため、補間性能が向上し、網点画像では縦縞が改善され、画像のエッジ部では偽色が改善される。
【００８５】
（第１の実施形態の変形例）
次に、本発明の第１の実施形態の変形例を、図１１，図１５を参照して説明する。
【００８６】
図１１では、差分合計の最も小さい時の仮補間値を正式な補間値として出力するとしたが、他の補間技術と併用しても良い。
【００８７】
例えば、図１４の実施形態では、図１１に線形補間処理部２００と補間値の切替・出力処理部２１０を設けた構成としている。線形補間処理部２００は、欠落画素Ｘの両側画素の平均を算出し、補間値として出力するものである。補間値の切替・出力処理部２１０は、最小値検出部１３０から出力された差分合計の最も小さい時の仮補間値、又は線形補間処理部２００から出力された補間値のどちらか一方を選択し、正式な補間値として出力するものである。
【００８８】
即ち、補間値の切替・出力処理部２１０には差分合計の閾値が予め設定されており、最小値検出部１３０から出力された差分合計の最小値が前記閾値以下の場合は、パターンマッチング処理１２０で算出した仮補間値を正式な補間値として出力し、差分合計の最小値が前記閾値を越えた場合は、線形補間処理部２００で算出した補間値を正式な補間値として出力するものである。
【００８９】
この実施形態によれば、差分合計の最小値が大きい場合、即ち、図６のようにマッチング度合いが低い場合は、パターンマッチング処理での仮補間値の信頼性が低く、真値から大きく外れている場合があるため、従来の補間方法である線形補間の補間値を出力することによって解決するものである。
【００９０】
次に、図１５の実施形態では、図１４に信号レベル差の算出部２２０を更に設けた構成としている。信号レベル差の算出部２２０は、欠落画素Ｘの両側の周辺画素の信号レベル差を算出し、この信号レベル差を補間値の切替・出力処理部２１０に出力するものである。具体的には、欠落画素の一方側の周辺画素の平均値と、他方側の周辺画素の平均値をそれぞれ算出し、この平均値の差を信号レベル差として出力する。
【００９１】
補間値の切替・出力処理部２１０は、信号レベル差の算出部２２０からの信号レベル差に基づいて、最小値検出部１３０から出力された差分合計の最も小さい時の仮補間値、又は線形補間処理部２００から出力された補間値のどちらか一方を選択して、正式な補間値として出力するものである。
【００９２】
即ち、信号レベル差の算出部２２０からの信号レベル差に閾値を設定し、信号レベル差が閾値以下の場合は、パターンマッチング処理１２０で算出した仮補間値を正式な補間値として出力し、信号レベル差が閾値を越えた場合は、線形補間処理部２００で算出した補間値を正式な補間値として出力するものである。
【００９３】
この実施形態によれば、欠落画素Ｘに対して両側の周辺画素の信号レベル差が大きい場合、すなわち画像のエッジ部分が欠落画素になった場合、パターンマッチング処理での仮補間値の信頼性が低く、真値から大きく外れている場合があるため、従来の補間方法である線形補間の補間値を出力することによって解決するものである。
【００９４】
（第２の実施形態）
上述した第１の実施形態およびその変形例では、基本パターンと比較フレームの画素同士をオフセット調整してから差分を求めている方式とした。この第２の実施形態では、基本パターンと比較フレームの画素のエッジ成分をそれぞれ求め、求めたエッジ成分の差分を求める方式とするものである。なお、パターンマッチング処理する際の欠落画素位置や仮補間の方法は、第１の実施形態と同じである。
【００９５】
図１６乃至図１８は、第２の実施形態を示す。図１６は、第２の実施形態で用いられる２つの微分フィルタを示す図である。図１７は、第２の実施形態の画像補間装置を示すブロック図である。また、図１８は、第２の実施形態の動作を示すフローチャートである。
【００９６】
この第２の実施形態のパターンマッチング処理においては、基本パターンと比較パターンの各画素のエッジ成分をそれぞれ求める。そして、基本パターンと比較パターンの同じ位置関係にある画素のエッジ成分の差分を絶対値で合計するものである。
【００９７】
このエッジ成分は、注目画素と隣接画素を使い、微分フィルタ処理して求めるものである。そして、ある探索範囲内で、エッジ成分の差分の絶対値の合計が最も小さい時のパターンが、マッチング度合いが高いと判断できるため、この時の仮補間値を正式な補間値として出力する。
【００９８】
図１６（ａ）は、エッジ成分を求めるために使用する１次微分フィルタを示す図である。また、図１６（ｂ）は、エッジ成分を求めるために使用する２次微分フィルタを示す図である。第２の実施形態では、この１次微分フィルタ又は２次微分フィルタを使用して、基本フレームと比較フレームの各画素におけるエッジ成分を求める。
【００９９】
これを処理する画像補間装置は、図１７に示す通りである。図１２に示した第１の実施形態と違う点は、比較フレーム画素抽出部１２２と差分合計算出部１２８の間に比較フレームの各画素のエッジ成分を算出する算出部１６０が設けられていることである。また、仮補間値挿入部１２５と差分合計算出部１２８の間に仮補間値が挿入された基本フレームの各画素のエッジ成分を算出する算出部１７０が設けられていることである。
【０１００】
図１８は、第２の実施形態の画像補間装置の動作を示すフローチャートであり、上述した＜ステップ１＞と＜ステップ３＞の動作は、第１の実施形態と同じある。したがって、＜ステップ１＞に対応する図１８のステップＳ１０乃至Ｓ６０、および＜ステップ３＞に対応する図１８のステップＳ１２０乃至Ｓ１５０の動作は、説明を省略する。
【０１０１】
この第２の実施形態における＜ステップ２＞の工程では、エッジ成分を算出する算出部１６０によって比較フレームの各画素のエッジ成分を算出する（ステップＳ７０ａ）。また、エッジ成分を算出する算出部１７０によって仮補間値が挿入された基本フレームの各画素のエッジ成分を算出する（ステップＳ８０ａ）。
【０１０２】
次に、前記算出部１６０，１７０からの出力を受ける差分合計算出部１２８は、基本フレームと比較フレームの同じ位置関係にある画素同士のエッジ成分のそれぞれの差分を絶対値（abs）で合計Ｓを算出する（ステップＳ９０ａ）。
【０１０３】
例えば、エッジ成分を求めるために図１６（ａ）の１次微分フィルタを用いた場合、差分合計算出部１２８によって、それぞれの差分を絶対値で合計Ｓを算出する値は、以下の通りである。
【０１０４】
Ｓ＝abs（（Ｃｎ−３−Ｃｎ−４）−（Ａｎ−３−Ａｎ−４））＋abs（（Ｃｎ−２−Ｃｎ−３）−（Ａｎ−２−Ａｎ−３））＋abs（（Ｃｎ−１−Ｃｎ−２）−（Ａｎ−１−Ａｎ−２））＋abs（（Ｃｎ−Ｃｎ−１）−（Ａｎ−Ａｎ−１））
ここで、（Ｃｎ−３−Ｃｎ−４），（Ｃｎ−２−Ｃｎ−３），（Ｃｎ−１−Ｃｎ−２），（Ｃｎ−Ｃｎ−１）は、算出部１６０で算出される比較フレームのエッジ成分である。また、（Ａｎ−３−Ａｎ−４），（Ａｎ−２−Ａｎ−３），（Ａｎ−１−Ａｎ−２），（Ａｎ−Ａｎ−１）は、算出部１７０で算出される基本フレームのエッジ成分である。
【０１０５】
また例えば、エッジ成分を求めるために図１６（ｂ）の２次微分フィルタを用いた場合、差分合計算出部１２８によって、それぞれの差分を絶対値（abs）で合計Ｓを算出する値は、以下の通りである。
【０１０６】
ｇＣｎ−３＝（Ｃｎ−４−２×Ｃｎ−３＋Ｃｎ−２）／２
ｇＣｎ−２＝（Ｃｎ−３−２×Ｃｎ−２＋Ｃｎ−１）／２
ｇＣｎ−１＝（Ｃｎ−２−２×Ｃｎ−１＋Ｃｎ）／２
ｇＡｎ−３＝（Ａｎ−４−２×Ａｎ−３＋Ａｎ−２）／２
ｇＡｎ−２＝（Ａｎ−３−２×Ａｎ−２＋Ａｎ−１）／２
ｇＡｎ−１＝（Ａｎ−２−２×Ａｎ−１＋Ａｎ）／２
Ｓ＝abs（ｇＣｎ−３−ｇＡｎ−３）＋abs（ｇＣｎ−２−ｇＡｎ−２）＋abs（ｇＣｎ−１−ｇＡｎ−１）
ここで、上記ｇＣｎ−３，ｇＣｎ−２，ｇＣｎ−１は、算出部１６０で算出される比較フレームのエッジ成分である。また、ｇＡｎ−３，ｇＡｎ−２，ｇＡｎ−１は、算出部１７０で算出される基本フレームのエッジ成分である。
【０１０７】
そして、ステップＳ９０ａで求めた差分合計と、ステップＳ５０で求めた仮補間値を内部メモリに保存する（ステップＳ１２０）。
【０１０８】
上述した各実施形態によれば、複数のコンタクトイメージセンサの連結部分に対応する位置の画素データを精度良く補間することができる。また、基本パターンの欠落画素の周辺画素および比較パターンの欠落画素に対応する周辺画素を使い、これらの信号レベル及び信号変化量に適応した仮補間値を算出し、これを基本パターンの欠落画素に挿入することにより、パターンマッチングの検出精度を向上させることができる。更に、基本パターンと比較フレームの画素同士の差分を求めることにより、欠落画素に対し更に精度良く補間値を得ることができるようにした。
【０１０９】
（第３の実施形態）
ここまでは、１ビットの欠落画素の補間処理について説明したが、複数ビットの欠落画素の補間にも適用することができる。以下、複数ビットの欠落画素の補間処理について詳細に説明する。この複数ビットの欠落画素の補間処理の場合は、第１の実施形態をそのまま適用することができるが、欠落画素数によって仮補間の計算回数が異なる点、および線形補間の計算式が異なっている。以下に、第１の実施形態と異なっている仮補間値の算出と、線形補間の計算式について説明する。
【０１１０】
図１２の仮補間用画素抽出部１２３は、欠落している複数ビットの画素の仮補間値の計算に使う画素を抽出する。例えば、図１９に示すように、複数ビットの欠落画素Ａｎ１，Ａｎ２，‥Ａｎｍ（ｍは、欠落画素数）が発生している場合、その両端画素Ａｎ−１，Ａｎ＋１と、欠落画素とその両端画素と同じ位置関係にある比較パターンの画素Ｃｎ１，Ｃｎ２，‥Ｃｎｍ，Ｃｎ−１，Ｃｎ＋１を抽出する。
【０１１１】
図１９の例では、欠落画素Ａｎ１の仮補間値の計算に使う画素はＣｎ−１，Ｃｎ１，Ｃｎ＋１，Ａｎ−１，Ａｎ＋１である。また、欠落画素Ａｎ２の仮補間値の計算に使う画素はＣｎ−１，Ｃｎ２，Ｃｎ＋１，Ａｎ−１，Ａｎ＋１である。また、欠落画素Ａnmの仮補間値の計算に使う画素は、Ｃｎ−１，Ｃｎｍ，Ｃｎ＋１，Ａｎ−１，Ａｎ＋１である。
【０１１２】
欠落画素毎の仮補間値の計算に使用する画素が抽出されると、図１２の仮補間値算出部１２４は、欠落画素Ａｎ１，Ａｎ２‥Ａｎｍ毎の仮補間値を計算する。この仮補間値の計算は、欠落画素毎に応じて上述した補間式（１）乃至（６）のいずれか１つの演算処理、又は補間式（７）の演算処理が実行される。
【０１１３】
ここで、上記補間式（１）乃至（６）による複数ビットの欠陥画素の仮補間値の計算式について、以下に説明する。この場合、図８（ａ）乃至（ｆ）の欠陥画素Ａｎは、図１９の欠陥画素Ａｎ１，Ａｎ２，Ａｎｍに置き換える。また、比較画素Ｃｎは、図１９の比較画素Ｃｎ１，Ｃｎ２，Ｃｎｍに置き換える。
【０１１４】
その結果、図８（ａ）の信号変化の場合は、
Ａｎ１＝Ｃｎ１×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１)
Ａｎ２＝Ｃｎ２×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１)
Ａｎｍ＝Ｃｎｍ×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１)・・・ 補間式(９)
の演算により求める。
【０１１５】
図８（ｂ）の信号変化の場合は、
Ａｎ１＝(Ｃｎ１＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)
Ａｎ２＝(Ｃｎ２＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)
Ａｎｍ＝(Ｃｎｍ＋(Ａｎ−１＋Ａｎ＋１)／２)×(Ａｎ−１＋Ａｎ＋１)／(Ｃｎ−１＋Ｃｎ＋１＋Ａｎ−１＋Ａｎ＋１)・・・ 補間式(10)
の演算により求める。
【０１１６】
図８（ｃ）の信号変化の場合は、
Ａｎ１＝(Ｃｎ１−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１
Ａｎ２＝(Ｃｎ２−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ−１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ−１・・・補間式(11)
の演算により求める。
【０１１７】
図８（ｄ）の信号変化の場合は、
Ａｎ１＝(Ｃｎ１−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１
Ａｎ２＝(Ｃｎ２−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ−１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ＋１−Ｃｎ−１)＋Ａｎ＋１・・・補間式(12)
の演算により求める。
【０１１８】
図８（ｅ）の信号変化の場合は、
Ａｎ１＝(Ｃｎ１−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１
Ａｎ２＝(Ｃｎ２−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ＋１)×(Ａｎ−１−Ａｎ＋１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ＋１・・・補間式(13)
の演算により求める。
【０１１９】
図８（ｆ）の信号変化の場合は、
Ａｎ１＝(Ｃｎ１−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１
Ａｎ２＝(Ｃｎ２−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１
Ａｎｍ＝(Ｃｎｍ−Ｃｎ＋１)×(Ａｎ＋１−Ａｎ−１)／(Ｃｎ−１−Ｃｎ＋１)＋Ａｎ−１・・・補間式(14)
の演算により求める。
【０１２０】
上記補間式（９）乃至（１４）を用いない場合、仮補間値算出部１２４は、複数ビットの欠陥画素（Ａｎ1，‥Ａｎｍ）（ｍは欠落画素数）の仮補間値Ａｎ1‥Ａｎｍを次の補間式(15)によって求めてもよい。
【０１２１】
Ａｎ1＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎ1−Ｃｎ−１）＋（Ｃｎ1−Ｃｎ＋１））／２
Ａｎｍ＝（Ａｎ−１＋Ａｎ＋１）／２＋（（Ｃｎｍ−Ｃｎ−１）＋（Ｃｎｍ−Ｃｎ＋１））／２・・・補間式(15)
ただし、比較画素Ｃｎ1，Ｃｎｍは、欠陥画素Ａｎ1，Ａｎｍに対応する前記比較フレームの画素
次に、図１４又は図１５に示す線形補間処理部２００は、例えば、図２０に示すような信号の傾きに応じた補間処理を行う。すなわち、算出した欠落画素に対応する補間値Ａｎ１，Ａｎ２，‥Ａｎｍと、その両端画素Ａｎ−１，Ａｎ＋１を使って、以下の計算式で線形補間した結果を出力する。なお、１ビットの画素欠落の場合も、下記の計算式を用いてもよい。
【０１２２】
補間値Ａｎ１＝Ｇ×１＋Ａｎ−１
補間値Ａｎ２＝Ｇ×２＋Ａｎ−１
補間値Ａｎｍ＝Ｇ×ｍ＋Ａｎ−１
ただし、ｍ：欠落画素数、信号の傾きＧ＝(Ａｎ＋１−Ａｎ−１)／(ｍ＋１)
（２ビットの画素が欠落した場合の計算例）
次に、２ビットの画素Ａｎ１，Ａｎ２が欠落した場合の計算例を説明する。なお、フレーム画素数は「５」としている。
【０１２３】
＜ステップ１＞
欠落画素Ａｎ１，Ａｎ２は、基本フレームの末尾又は先頭移動に位置させる。次に、基本フレームの欠落画素Ａｎ１の両端画素Ａｎ−１，Ａｎ＋１と、この欠落画素とその両端画素と同じ位置関係にある比較フレームの画素Ｃｎ−１，Ｃｎ１，Ｃｎ＋１を使い、これらの使う画素の信号レベル及び信号変化量に適応した仮補間値Ａｎ１を算出し、基本フレームの欠落画素Ａｎ１に挿入する。
【０１２４】
同様にして、基本フレームの欠落画素Ａｎ２の両端画素Ａｎ−１，Ａｎ＋１と、比較フレームの画素Ｃｎ−１，Ｃｎ２，Ｃｎ＋１の画素を使い、仮補間値Ａｎ２を算出し、欠落画素Ａｎ２に挿入する。この仮補間値Ａｎ１，Ａｎ２の計算は、使う画素の信号レベル及び信号変化によって補間式（９）乃至(１４)を使い分ける。
【０１２５】
＜ステップ２＞
次に、基本フレームと比較フレームのフレーム平均値Ａａｖ，Ｃａｖを算出する。
【０１２６】
比較フレームの平均値Ｃａｖ＝(Ｃｎ−３＋Ｃｎ−２＋Ｃｎ−１＋Ｃｎ１＋Ｃｎ２)／ｐｘ
基本フレームＦＸの平均値Ａａｖ＝(Ａｎ−３＋Ａｎ−２＋Ａｎ−１＋Ａｎ１＋Ａｎ２)／ｐｘ
ｐｘ：フレームの画素数（本実施例では「５」）
次に、基本フレームと比較フレームの同じ位置関係にある画素同士（図２０中のＡｎ−３とＣｎ−３，Ａｎ−２とＣｎ−２，Ａｎ−１とＣｎ−１，Ａｎ１とＣｎ１，Ａｎ２とＣｎ２）のそれぞれの差分を絶対値(abs)で合計Ｓして算出する。
【０１２７】
合計Ｓ＝abs(Ｃｎ−３−(Ａｎ−３＋Ｃａｖ−Ａａｖ))＋abs(Ｃｎ−２−(Ａｎ−２＋Ｃａｖ−Ａａｖ))＋abs(Ｃｎ−１−(Ａｎ−１＋Ｃａｖ−Ａａｖ))＋abs(Ｃｎ１−(Ａｎ１＋Ｃａｖ−Ａａｖ))+abs(Ｃｎ２−(Ａｎ２＋Ｃａｖ−Ａａｖ))
＜ステップ３＞
ステップ１とステップ２の処理を探索フレーム数だけ実行する。次に、探索フレーム数分の比較フレームと基本フレームの差分データにおいて、この中で最も差分データが小さい時のフレームがパターンマッチングの度合いが高いと判断できるため、この時の仮補間値を正式な補間値とする。
【０１２８】
本実施形態によれば、複数ビットの欠陥画素が発生しても、最もマッチングした画素を使って補間できるため、補間性能が向上し、網点画像では縦縞が改善され、画像のエッジ部では偽色が改善される。
【０１２９】
本発明は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜設計変更可能である。また、各実施形態を適宜組み合わせても良い。
【符号の説明】
【０１３０】
ＦＸ‥基本フレーム、Ｆ１〜Ｆ１２‥比較フレーム
１００‥画像補間装置
１１０‥周辺画素抽出部
１２０-1〜１２０-n‥パターンマッチング処理部
１３０‥最小値検出部
１４０‥補間値出力部
１２１‥基本フレーム画素抽出部
１２２‥比較フレーム画素抽出部
１２３‥仮補間用画素抽出部
１２４‥仮補間値算出部
１２５‥仮補間値挿入部
１２６‥オフセット調整値算出部
１２７‥オフセット調整部
１２８‥差分合計算出部
１６０，１７０‥各画素のエッジ成分の算出部
２００‥線形補間処理部
２１０‥補間値の切替・出力処理部
２２０‥信号レベル差の算出部
【図１】
2010288254.tif 000003
【図２】
2010288254.tif 000004
【図３】
2010288254.tif 000005
【図４】
2010288254.tif 000006
【図５】
2010288254.tif 000007
【図６】
2010288254.tif 000008
【図７】
2010288254.tif 000009
【図８】
2010288254.tif 000010
【図９】
2010288254.tif 000011
【図１０】
2010288254.tif 000012
【図１１】
2010288254.tif 000013
【図１２】
2010288254.tif 000014
【図１３】
2010288254.tif 000015
【図１４】
2010288254.tif 000016
【図１５】
2010288254.tif 000017
【図１６】
2010288254.tif 000018
【図１７】
2010288254.tif 000019
【図１８】
2010288254.tif 000020
【図１９】
2010288254.tif 000021
【図２０】
2010288254.tif 000022
【図２１】
2010288254.tif 000023