(57)【特許請求の範囲】
【請求項１】
第１の原画素と第１の原画素と隣接する第２の原画素との中間位置に画素を補間する画像補間方法において、
補間画素が原画像のエッジ位置付近に存在するかを判定するためのエッジ成分を算出する第１ステップ、
算出されたエッジ成分と第１および第２の原画素の画素データの値とに基づいて、補間画素の画素データの設定可能な値の範囲を求める第２ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和で表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第３ステップ、ならびに
上記各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第４ステップ、
を備えていることを特徴とする画像補間方法。
【請求項２】
第１の原画素に隣接しかつ第２の原画素と反対側にある原画素を第３の原画素とし、第２の原画素に隣接しかつ第１の原画素と反対側にある原画素を第４の原画素とすると、第１ステップでは、第１〜第４の原画素の画素データの値に基づいて、エッジ成分が算出されることを特徴とする請求項１に記載の画像補間方法。
【請求項３】
第１の原画素の画素データの値をｄ１、第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第４の原画素の画素データの値をｄ４とすると、エッジ成分Ｅは、演算式Ｅ＝−ｄ３＋ｄ１＋ｄ２−ｄ４に基づいて算出されることを特徴とする請求項２に記載の画像補間方法。
【請求項４】
第１ステップで求められたエッジ成分をＥ、予め定められた閾値をＴｈ、第１の原画素の画素データの値と第２の原画素の画素データの値のうち大きい方をｄmax 、小さい方をｄmin 、ｄmax −ｄmin をｄとすると、第２ステップでは、次式に基づいて、補間画素の画素データの設定可能な値の範囲Ｓが求められることを特徴とする請求項３に記載の画像補間方法。
ｉｆ  Ｅ＞Ｔｈ，ｔｈｅｎ  ｄmin ＋ｄ／２≦Ｓ≦ｄmax ，
ｉｆ  −Ｔｈ≦Ｅ≦Ｔｈ，ｔｈｅｎ  ｄmin ＋ｄ／４≦Ｓ≦ｄmax −ｄ／４，  ｉｆ  Ｅ＜−Ｔｈ，ｔｈｅｎ  ｄmin ≦Ｓ≦ｄmin ＋ｄ／２．
【請求項５】
第２ステップで求められた設定可能な値の範囲Ｓの画素データの値をｘとし、１組の対向画素を構成する２つの原画素の画素データの値を、それぞれｄａおよびｄｂとすると、その組に対する相関値Ｌは、Ｌ＝｜ｄａ−ｘ｜＋｜ｄｂ−ｘ｜によって算出されることを特徴とする請求項１に記載の画像補間方法。
【請求項６】
第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項１に記載の画像補間方法。
【請求項７】
第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項１に記載の画像補間方法。
【請求項８】
第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項１に記載の画像補間方法。
【請求項９】
第１の原画素と第１の原画素と隣接する第２の原画素との中間位置に画素を補間する画像補間方法において、
補間画素が原画像のエッジ位置付近に存在するかを判定するためのエッジ成分を算出する第１ステップ、
算出されたエッジ成分を所定の擬似ノイズ成分に基づいて補正する第２ステップ、
補正後のエッジ成分と第１および第２の原画素の画素データの値とに基づいて、補間画素の画素データの設定可能な値の範囲を求める第３ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和と各対向画素の周辺の原画素の画素データの値に基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第４ステップ、ならびに
上記各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第５ステップ、
を備えていることを特徴とする画像補間方法。
【請求項１０】
第１の原画素に隣接しかつ第２の原画素と反対側にある原画素を第３の原画素とし、第２の原画素に隣接しかつ第１の原画素と反対側にある原画素を第４の原画素とすると、第１ステップでは、第１〜第４の原画素の画素データの値に基づいて、エッジ成分が算出されることを特徴とする請求項９に記載の画像補間方法。
【請求項１１】
第１の原画素の画素データの値をｄ１、第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第４の原画素の画素データの値をｄ４とすると、エッジ成分Ｅは、演算式Ｅ＝−ｄ３＋ｄ１＋ｄ２−ｄ４に基づいて算出されることを特徴とする請求項９に記載の画像補間方法。
【請求項１２】
擬似ノイズ成分をＱとし、第１ステップで算出されたエッジ成分をＥとすると、第２ステップで求められる補正後のエッジ成分Ｅ１は次式で表されることを特徴とする請求項１１に記載の画像補間方法。
ｉｆ  −Ｑ≦Ｅ≦Ｑ，ｔｈｅｎ  Ｅ１＝０，
ｉｆ  Ｅ＞Ｑ  ｏｒ  Ｅ＜−Ｑ，ｔｈｅｎ  Ｅ１＝Ｅ．
【請求項１３】
第２ステップで求められた補正後のエッジ成分をＥ１、第１の原画素の画素データの値と第２の原画素の画素データの値のうち大きい方をｄmax 、小さい方をｄmin 、ｄmax とｄmin との平均をｄｃ、α（０≦α≦１）およびγを予め設定された係数とすると、第３ステップでは、次式に基づいて、補間画素の画素データの設定可能な値の範囲Ｓが求められることを特徴とする請求項１２に記載の画像補間方法。
ｉｆ  Ｅ１≧０，ｔｈｅｎ  ｄmin ・α＋ｄｃ（１−α）≦Ｓ≦ｄmax ・α＋ｄｃ（１−α）＋Ｅ１・γ，
ｉｆ  Ｅ１＜０，ｔｈｅｎ  ｄmin ・α＋ｄｃ（１−α）＋Ｅ１・γ≦Ｓ≦
ｄmax ・α＋ｄｃ（１−α）．
【請求項１４】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、１組の対向画素をＤ１２，Ｄ２４とし、一方の対向画素Ｄ１２の左右両隣にある２つの原画素をＤ１１，Ｄ１３、この対向画素Ｄ１２の上下両隣にある２つの原画素をＤ０２，Ｄ２２とし、他方の対向画素Ｄ２４の左右両隣にある２つの原画素をＤ２３，Ｄ２５とし、この対向画素Ｄ２４の上下両隣にある２つの原画素をＤ１４，Ｄ３４とし、各原画素Ｄ０２，Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ２２，Ｄ２３，Ｄ２４，Ｄ２５およびＤ３４の画素データの値をｄ０２，ｄ１１，ｄ１２，ｄ１３，ｄ１４，ｄ２２，ｄ２３，ｄ２４，ｄ２５およびｄ３４とし、β１およびβ２を所定の係数とし、第３ステップで求められた設定可能な値の範囲Ｓの画素データの値をｘとすると、その組に対する相関値Ｌの算出式は次式で表されることを特徴とする請求項９に記載の画像補間方法。
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌ
Ｈｌ＝ＭＡＸ｛（｜ｄ１１−ｄ１２｜＋｜ｄ１２−ｄ１３｜），（｜ｄ２３−ｄ２４｜＋｜ｄ２４−ｄ２５｜）｝
Ｖｌ＝ＭＩＮ｛（｜ｄ０２−ｄ１２｜＋｜ｄ１２−ｄ２２｜），（｜ｄ１４−ｄ２４｜＋｜ｄ２４−ｄ３４｜）｝
【請求項１５】
第５ステップは、第４ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項９に記載の画像補間方法。
【請求項１６】
第５ステップは、第４ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項９に記載の画像補間方法。
【請求項１７】
第５ステップは、第４ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項９に記載の画像補間方法。
【請求項１８】
左右方向に隣合う第１の原画素および第２の原画素、第１の原画素の下側に隣接する第３画素ならびに第２の原画素の下側に隣接する第４画素からなる４つの原画素の中央位置に画素を補間する画像補間方法において、
第１の原画素、第４の原画素、第１の原画素と第４の原画素を結ぶ線の延長上であって第１の原画素の左斜め上に隣接する第５の原画素および第１の原画素と第４の原画素を結ぶ線の延長上であって第４の原画素の右斜め下に隣接する第６の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第１のエッジ成分を算出する第１ステップ、
第２の原画素、第３の原画素、第２の原画素と第３の原画素を結ぶ線の延長上であって第２の原画素の右斜め上に隣接する第７の原画素および第２の原画素と第３の原画素を結ぶ線の延長上であって第３の原画素の左斜め下に隣接する第８の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第２のエッジ成分を算出する第２ステップ、
第１のエッジ成分と第１および第４の原画素の画素データの値とに基づいて、補間画素の画素データの第１の設定可能な値の範囲を求めるとともに、第２のエッジ成分と第２および第３の原画素の画素データの値とに基づいて、補間画素の画素データの第２の設定可能な値の範囲を求める第３ステップ、
第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在するか否かを判定する第４ステップ、
第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在しない場合には、第１〜第４の原画素の画素データの値の平均値を算出し、その算出結果を補間画素の画素データの値と決定する第５ステップ、
第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分がある場合には、その重なり合う部分を設定可能な値の範囲として設定した後、補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和で表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第６ステップ、ならびに
上記第６ステップにおいて各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第７ステップ、  を備えていることを特徴とする画像補間方法。
【請求項１９】
第１の原画素の画素データの値をｄ１、第４の原画素の画素データの値をｄ４、第５の原画素の画素データの値をｄ５、第６の原画素の画素データの値をｄ６とし、第１のエッジ成分をＥＬとすると、第１ステップでは、演算式ＥＬ＝−ｄ５＋ｄ１＋ｄ４−ｄ６に基づいて第１のエッジ成分ＥＬを算出し、
第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第７の原画素の画素データの値をｄ７、第８の原画素の画素データの値をｄ８とし、第２のエッジ成分をＥＲとすると、第２ステップでは、演算式ＥＲ＝−ｄ７＋ｄ２＋ｄ３−ｄ８に基づいて第２のエッジ成分ＥＲを算出することを特徴とする請求項１８に記載の画像補間方法。
【請求項２０】
第１のエッジ成分をＥＬ、第２のエッジ成分をＥＲ、予め定められた閾値をＴｈ、第１の原画素の画素データの値と第４の原画素の画素データの値のうち大きい方をｄＬmax 、小さい方をｄＬmin 、ｄＬmax −ｄＬmin をｄＬとし、第２の原画素の画素データの値と第３の原画素の画素データの値のうち大きい方をｄＲmax 、小さい方をｄＲmin 、ｄＲmax −ｄＲmin をｄＲとすると、第３ステップでは、次式に基づいて、第１の設定可能な値の範囲ＳＬおよび第２の設定可能な値の範囲ＳＲが求められることを特徴とする請求項１９に記載の画像補間方法。
ｉｆ  ＥＬ＞Ｔｈ，ｔｈｅｎ  ｄＬmin ＋ｄＬ／２≦ＳＬ≦ｄＬmax ，
ｉｆ  −Ｔｈ≦ＥＬ≦Ｔｈ，ｔｈｅｎ  ｄＬmin ＋ｄＬ／４≦ＳＬ≦ｄＬmax −ｄＬ／４，
ｉｆ  ＥＬ＜−Ｔｈ，ｔｈｅｎ  ｄＬmin ≦ＳＬ≦ｄＬmin ＋ｄＬ／２．
ｉｆ  ＥＲ＞Ｔｈ，ｔｈｅｎ  ｄＲmin ＋ｄＲ／２≦ＳＲ≦ｄＲmax ，
ｉｆ  −Ｔｈ≦ＥＲ≦Ｔｈ，ｔｈｅｎ  ｄＲmin ＋ｄＲ／４≦ＳＲ≦ｄＲmax −ｄＲ／４，
ｉｆ  ＥＲ＜−Ｔｈ，ｔｈｅｎ  ｄＲmin ≦ＳＲ≦ｄＲmin ＋ｄＲ／２．
【請求項２１】
第６ステップで設定された設定可能な値の範囲Ｓ内の画素データの値をｘとし、１組の対向画素を構成する２つの原画素の画素データの値を、それぞれｄａおよびｄｂとすると、その組に対する相関値Ｌは、Ｌ＝｜ｄａ−ｘ｜＋｜ｄｂ−ｘ｜によって算出されることを特徴とする請求項１８に記載の画像補間方法。
【請求項２２】
第７ステップは、第６ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項１８に記載の画像補間方法。
【請求項２３】
第７ステップは、第６ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項１８に記載の画像補間方法。
【請求項２４】
第７ステップは、第６ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項１８に記載の画像補間方法。
【請求項２５】
左右方向に隣合う第１の原画素および第２の原画素、第１の原画素の下側に隣接する第３画素ならびに第２の原画素の下側に隣接する第４画素からなる４つの原画素の中央位置に画素を補間する画像補間方法において、
第１の原画素、第４の原画素、第１の原画素と第４の原画素を結ぶ線の延長上であって第１の原画素の左斜め上に隣接する第５の原画素および第１の原画素と第４の原画素を結ぶ線の延長上であって第４の原画素の右斜め下に隣接する第６の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第１のエッジ成分を算出する第１ステップ、
第２の原画素、第３の原画素、第２の原画素と第３の原画素を結ぶ線の延長上であって第２の原画素の右斜め上に隣接する第７の原画素および第２の原画素と第３の原画素を結ぶ線の延長上であって第３の原画素の左斜め下に隣接する第８の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第２のエッジ成分を算出する第２ステップ、
算出された第１のエッジ成分および第２のエッジ成分を、それぞれ所定の擬似ノイズ成分に基づいて補正する第３ステップ、
補正後の第１のエッジ成分と第１および第４の原画素の画素データの値とに基づいて補間画素の画素データの第１の設定可能な値の範囲を求めるとともに、補正後の第２のエッジ成分と第２および第３の原画素の画素データの値とに基づいて補間画素の画素データの第２の設定可能な値の範囲を求める第４ステップ、
第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在するか否かを判定する第５ステップ、
第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在しない場合には、第１〜第４の原画素の画素データの値の平均値を算出し、その算出結果を補間画素の画素データの値と決定する第６ステップ、
第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在する場合には、その重なり合う部分を設定可能な値の範囲として設定した後、補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和と各対向画素の周辺の原画素の画素データの値に基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第７ステップ、ならびに
上記各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第８ステップ、
を備えていることを特徴とする画像補間方法。
【請求項２６】
第１の原画素の画素データの値をｄ１、第４の原画素の画素データの値をｄ４、第５の原画素の画素データの値をｄ５、第６の原画素の画素データの値をｄ６とし、第１のエッジ成分をＥＬとすると、第１ステップでは、演算式ＥＬ＝−ｄ５＋ｄ１＋ｄ４−ｄ６に基づいて第１のエッジ成分ＥＬを算出し、
第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第７の原画素の画素データの値をｄ７、第８の原画素の画素データの値をｄ８とし、第２のエッジ成分をＥＲとすると、第２ステップでは、演算式ＥＲ＝−ｄ７＋ｄ２＋ｄ３−ｄ８に基づいて第２のエッジ成分ＥＲを算出することを特徴とする請求項２５に記載の画像補間方法。
【請求項２７】
擬似ノイズ成分をＱとし、第１のエッジ成分をＥＬ、第２のエッジ成分をＥＲとすると、第３ステップで求められる補正後の第１のエッジ成分ＥＬ１および補正後の第２のエッジ成分ＥＲ１は次式で表されることを特徴とする請求項２６に記載の画像補間方法。
ｉｆ  −Ｑ≦ＥＬ≦Ｑ，ｔｈｅｎ  ＥＬ１＝０，
ｉｆ  ＥＬ＞Ｑ  ｏｒ  ＥＬ＜−Ｑ，ｔｈｅｎ  ＥＬ１＝ＥＬ．
ｉｆ  −Ｑ≦ＥＲ≦Ｑ，ｔｈｅｎ  ＥＲ１＝０，
ｉｆ  ＥＲ＞Ｑ  ｏｒ  ＥＲ＜−Ｑ，ｔｈｅｎ  ＥＲ１＝ＥＲ．
【請求項２８】
補正後の第１のエッジ成分をＥＬ１、補正後の第２のエッジ成分をＥＲ１、第１の原画素の画素データの値と第４の原画素の画素データの値のうち大きい方をｄＬmax 、小さい方をｄＬmin 、ｄＬmax とｄＬmin との平均をｄＬｃ、第２の原画素の画素データの値と第３の原画素の画素データの値のうち大きい方をｄＲmax 、小さい方をｄＲmin 、ｄＲmax とｄＲmin との平均をｄＲｃ、αおよびγを予め設定された係数とすると、第４ステップでは、次式に基づいて、第１の設定可能な値の範囲ＳＬおよび第２の設定可能な値の範囲ＳＲが求められることを特徴とする請求項２７に記載の画像補間方法。
ｉｆ  ＥＬ１≧０，ｔｈｅｎ  ｄＬmin ・α＋ｄＬｃ（１−α）≦ＳＬ≦ｄＬmax ・α＋ｄＬｃ（１−α）＋ＥＬ１・γ，
ｉｆ  ＥＬ１＜０，ｔｈｅｎ  ｄＬmin ・α＋ｄＬｃ（１−α）＋ＥＬ１・γ≦ＳＬ≦ｄＬmax ・α＋ｄＬｃ（１−α）．
ｉｆ  ＥＲ１≧０，ｔｈｅｎ  ｄＲmin ・α＋ｄＲｃ（１−α）≦ＳＲ≦ｄＲmax ・α＋ｄＲｃ（１−α）＋ＥＲ１・γ，
ｉｆ  ＥＲ１＜０，ｔｈｅｎ  ｄＲmin ・α＋ｄＲｃ（１−α）＋ＥＲ１・γ≦ＳＲ≦ｄＲmax ・α＋ｄＲｃ（１−α）．
【請求項２９】
第７ステップで設定された設定可能な値の範囲Ｓ内の画素データの値をｘとし、１組の対向画素を構成する２つの原画素の画素データの値を、それぞれｄａおよびｄｂとすると、その組に対する相関値Ｌは、Ｌ＝｜ｄａ−ｘ｜＋｜ｄｂ−ｘ｜によって算出されることを特徴とする請求項２５に記載の画像補間方法。
【請求項３０】
第８ステップは、第７ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項２５に記載の画像補間方法。
【請求項３１】
第８ステップは、第７ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項２５に記載の画像補間方法。
【請求項３２】
第８ステップは、第７ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップ、
を備えていることを特徴とする請求項２５に記載の画像補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を補間する画像補間方法に関する。
【０００２】
【従来の技術】
従来より、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、画像の解像度を高める場合などにおいて、隣接した原画素の画素データ（ディスプレイ上の輝度を表すデータ量に相当する）を用いて、画像を補間する様々な方法が提案されている。
【０００３】
画像補間方法の代表的なものに、単純補間方法と線形補間方法とがある。単純補間方法とは、補間する画素の上下（又は左右）に隣接した画素のいずれかの画素データを、補間する画素に画素データとして与える方法である。線形補間方法とは、補間する画素の上下（又は左右）に隣接した画素の画素データを平均した値を、補間する画素に画素データとして与える方法である。
【０００４】
【発明が解決しようとする課題】
しかしながら、単純補間方法では、補間する画素に隣接した画素の画素データがそのまま与えられるため、ディスプレイ上などに再生された画像に斜め方向のエッジ部分があるとき、そのエッジ部分にガタツキが生じるという問題がある。又、線形補間方法では、補間する画素に上下（又は左右）に隣接した画素の画素データの平均値が与えられるため、補間する画素の近傍がエッジ部分であり、補間する画素の上下（又は左右）に隣接した画素の画素データの差が大きい場合には、補間された画素が中間値となり、エッジ部分にボケが生じるという問題がある。
【０００５】
本発明は、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができる画像補間方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
〔１〕この発明による第１の画像補間方法の説明
この発明による第１の画像補間方法は、第１の原画素と第１の原画素と隣接する第２の原画素との中間位置に画素を補間する画像補間方法において、補間画素が原画像のエッジ位置付近に存在するかを判定するためのエッジ成分を算出する第１ステップ、算出されたエッジ成分と第１および第２の原画素の画素データの値とに基づいて、補間画素の画素データの設定可能な値の範囲を求める第２ステップ、補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和で表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第３ステップ、ならびに上記各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第４ステップを備えていることを特徴とする。
【０００７】
第１の原画素に隣接しかつ第２の原画素と反対側にある原画素を第３の原画素とし、第２の原画素に隣接しかつ第１の原画素と反対側にある原画素を第４の原画素とすると、第１ステップでは、第１〜第４の原画素の画素データの値に基づいて、エッジ成分が算出される。
【０００８】
より具体的には、第１の原画素の画素データの値をｄ１、第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第４の原画素の画素データの値をｄ４とすると、エッジ成分Ｅは、次式（１）に基づいて算出される。
【０００９】
Ｅ＝−ｄ３＋ｄ１＋ｄ２−ｄ４    …（１）
【００１０】
第１ステップで求められたエッジ成分をＥ、予め定められた閾値をＴｈ、第１の原画素の画素データの値と第２の原画素の画素データの値のうち大きい方をｄmax 、小さい方をｄmin 、ｄmax −ｄmin をｄとすると、第２ステップでは、次式（２）に基づいて、補間画素の画素データの設定可能な値の範囲Ｓが求められる。
【００１１】
0003706529.tif 000002
【００１２】
第２ステップで求められた設定可能な値の範囲Ｓの画素データの値をｘとし、１組の対向画素を構成する２つの原画素の画素データの値を、それぞれｄａおよびｄｂとすると、その組に対する相関値Ｌは、次式（３）によって算出される。
【００１３】
Ｌ＝｜ｄａ−ｘ｜＋｜ｄｂ−ｘ｜    …（３）
【００１４】
第４ステップとしては、たとえば、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００１５】
第４ステップとしては、たとえば、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００１６】
第４ステップとしては、たとえば、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００１７】
〔２〕この発明による第２の画像補間方法の説明
この発明による第２の画像補間方法は、第１の原画素と第１の原画素と隣接する第２の原画素との中間位置に画素を補間する画像補間方法において、補間画素が原画像のエッジ位置付近に存在するかを判定するためのエッジ成分を算出する第１ステップ、算出されたエッジ成分を所定の擬似ノイズ成分に基づいて補正する第２ステップ、補正後のエッジ成分と第１および第２の原画素の画素データの値とに基づいて、補間画素の画素データの設定可能な値の範囲を求める第３ステップ、補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和と各対向画素の周辺の原画素の画素データの値に基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第４ステップ、ならびに上記各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第５ステップを備えていることを特徴とする。
【００１８】
第１の原画素に隣接しかつ第２の原画素と反対側にある原画素を第３の原画素とし、第２の原画素に隣接しかつ第１の原画素と反対側にある原画素を第４の原画素とすると、第１ステップでは、第１〜第４の原画素の画素データの値に基づいて、エッジ成分が算出される。
【００１９】
より具体的には、第１の原画素の画素データの値をｄ１、第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第４の原画素の画素データの値をｄ４とすると、エッジ成分Ｅは、次式（４）に基づいて算出される。
【００２０】
Ｅ＝−ｄ３＋ｄ１＋ｄ２−ｄ４    …（４）
【００２１】
擬似ノイズ成分をＱとし、第１ステップで算出されたエッジ成分をＥとすると、第２ステップで求められる補正後のエッジ成分Ｅ１は次式（５）で表される。
【００２２】
ｉｆ  −Ｑ≦Ｅ≦Ｑ，ｔｈｅｎ  Ｅ１＝０，
ｉｆ  Ｅ＞Ｑ  ｏｒ  Ｅ＜−Ｑ，ｔｈｅｎ  Ｅ１＝Ｅ    …（５）
【００２３】
第２ステップで求められた補正後のエッジ成分をＥ１、第１の原画素の画素データの値と第２の原画素の画素データの値のうち大きい方をｄmax 、小さい方をｄmin 、ｄmax とｄmin との平均をｄｃ、α（０≦α≦１）およびγを予め設定された係数とすると、第３ステップでは、次式（６）に基づいて、補間画素の画素データの設定可能な値の範囲Ｓが求められる。
【００２４】
ｉｆ  Ｅ１≧０，ｔｈｅｎ  ｄmin ・α＋ｄｃ（１−α）≦Ｓ≦ｄmax ・α
＋ｄｃ（１−α）＋Ｅ１・γ，
ｉｆ  Ｅ１＜０，ｔｈｅｎ  ｄmin ・α＋ｄｃ（１−α）＋Ｅ１・γ≦Ｓ≦ｄmax ・α＋ｄｃ（１−α）      …（６）
【００２５】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、１組の対向画素をＤ１２，Ｄ２４とし、一方の対向画素Ｄ１２の左右両隣にある２つの原画素をＤ１１，Ｄ１３、この対向画素Ｄ１２の上下両隣にある２つの原画素をＤ０２，Ｄ２２とし、他方の対向画素Ｄ２４の左右両隣にある２つの原画素をＤ２３，Ｄ２５とし、この対向画素Ｄ２４の上下両隣にある２つの原画素をＤ１４，Ｄ３４とし、各原画素Ｄ０２，Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ２２，Ｄ２３，Ｄ２４，Ｄ２５およびＤ３４の画素データの値をｄ０２，ｄ１１，ｄ１２，ｄ１３，ｄ１４，ｄ２２，ｄ２３，ｄ２４，ｄ２５およびｄ３４とし、β１およびβ２を所定の係数とし、第３ステップで求められた設定可能な値の範囲Ｓの画素データの値をｘとすると、その組に対する相関値Ｌの算出式は次式（７）で表される。
【００２６】
0003706529.tif 000003
【００２７】
第５ステップとしては、たとえば、第４ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００２８】
第５ステップとしては、たとえば、第４ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００２９】
第５ステップとしては、たとえば、第４ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００３０】
〔３〕この発明による第３の画像補間方法の説明
この発明による第３の画像補間方法は、左右方向に隣合う第１の原画素および第２の原画素、第１の原画素の下側に隣接する第３画素ならびに第２の原画素の下側に隣接する第４画素からなる４つの原画素の中央位置に画素を補間する画像補間方法において、第１の原画素、第４の原画素、第１の原画素と第４の原画素を結ぶ線の延長上であって第１の原画素の左斜め上に隣接する第５の原画素および第１の原画素と第４の原画素を結ぶ線の延長上であって第４の原画素の右斜め下に隣接する第６の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第１のエッジ成分を算出する第１ステップ、第２の原画素、第３の原画素、第２の原画素と第３の原画素を結ぶ線の延長上であって第２の原画素の右斜め上に隣接する第７の原画素および第２の原画素と第３の原画素を結ぶ線の延長上であって第３の原画素の左斜め下に隣接する第８の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第２のエッジ成分を算出する第２ステップ、第１のエッジ成分と第１および第４の原画素の画素データの値とに基づいて、補間画素の画素データの第１の設定可能な値の範囲を求めるとともに、第２のエッジ成分と第２および第３の原画素の画素データの値とに基づいて、補間画素の画素データの第２の設定可能な値の範囲を求める第３ステップ、第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在するか否かを判定する第４ステップ、第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在しない場合には、第１〜第４の原画素の画素データの値の平均値を算出し、その算出結果を補間画素の画素データの値と決定する第５ステップ、第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分がある場合には、その重なり合う部分を設定可能な値の範囲として設定した後、補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和で表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第６ステップ、ならびに上記第６ステップにおいて各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第７ステップを備えていることを特徴とする。
【００３１】
第１の原画素の画素データの値をｄ１、第４の原画素の画素データの値をｄ４、第５の原画素の画素データの値をｄ５、第６の原画素の画素データの値をｄ６とし、第１のエッジ成分をＥＬとすると、第１ステップでは、次式（８）に基づいて第１のエッジ成分ＥＬが算出される。また、第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第７の原画素の画素データの値をｄ７、第８の原画素の画素データの値をｄ８とし、第２のエッジ成分をＥＲとすると、第２ステップでは、次式（９）に基づいて第２のエッジ成分ＥＲが算出される。
【００３２】
ＥＬ＝−ｄ５＋ｄ１＋ｄ４−ｄ６      …（８）
ＥＲ＝−ｄ７＋ｄ２＋ｄ３−ｄ８      …（９）
【００３３】
第１のエッジ成分をＥＬ、第２のエッジ成分をＥＲ、予め定められた閾値をＴｈ、第１の原画素の画素データの値と第４の原画素の画素データの値のうち大きい方をｄＬmax 、小さい方をｄＬmin 、ｄＬmax −ｄＬmin をｄＬとし、第２の原画素の画素データの値と第３の原画素の画素データの値のうち大きい方をｄＲmax 、小さい方をｄＲmin 、ｄＲmax −ｄＲmin をｄＲとすると、第３ステップでは、次式（１０）に基づいて第１の設定可能な値の範囲ＳＬが求められ、次式（１１）に基づいて第２の設定可能な値の範囲ＳＲが求められる。
【００３４】
0003706529.tif 000004
【００３５】
0003706529.tif 000005
【００３６】
第６ステップで設定された設定可能な値の範囲Ｓ内の画素データの値をｘとし、１組の対向画素を構成する２つの原画素の画素データの値を、それぞれｄａおよびｄｂとすると、その組に対する相関値Ｌは、次式（１２）に基づいて算出される。
【００３７】
Ｌ＝｜ｄａ−ｘ｜＋｜ｄｂ−ｘ｜    …（１２）
【００３８】
第７ステップとしては、たとえば、第６ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００３９】
第７ステップとしては、たとえば、第６ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００４０】
第７ステップとしては、たとえば、第６ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００４１】
〔４〕この発明による第４の画像補間方法の説明
この発明による第４の画像補間方法は、左右方向に隣合う第１の原画素および第２の原画素、第１の原画素の下側に隣接する第３画素ならびに第２の原画素の下側に隣接する第４画素からなる４つの原画素の中央位置に画素を補間する画像補間方法において、第１の原画素、第４の原画素、第１の原画素と第４の原画素を結ぶ線の延長上であって第１の原画素の左斜め上に隣接する第５の原画素および第１の原画素と第４の原画素を結ぶ線の延長上であって第４の原画素の右斜め下に隣接する第６の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第１のエッジ成分を算出する第１ステップ、第２の原画素、第３の原画素、第２の原画素と第３の原画素を結ぶ線の延長上であって第２の原画素の右斜め上に隣接する第７の原画素および第２の原画素と第３の原画素を結ぶ線の延長上であって第３の原画素の左斜め下に隣接する第８の原画素の画素データの値に基づいて、補間画素が原画像のエッジ位置付近に存在するかを判定するための第２のエッジ成分を算出する第２ステップ、算出された第１のエッジ成分および第２のエッジ成分を、それぞれ所定の擬似ノイズ成分に基づいて補正する第３ステップ、補正後の第１のエッジ成分と第１および第４の原画素の画素データの値に基づいて補間画素の画素データの第１の設定可能な値の範囲を求めるとともに、補正後の第２のエッジ成分と第２および第３の原画素の画素データの値とに基づいて補間画素の画素データの第２の設定可能な値の範囲を求める第４ステップ、第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在するか否かを判定する第５ステップ、第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在しない場合には、第１〜第４の原画素の画素データの値の平均値を算出し、その算出結果を補間画素の画素データの値と決定する第６ステップ、第１の設定可能な値の範囲と第２の設定可能な値の範囲に、互いに重なり合う部分が存在する場合には、その重なり合う部分を設定可能な値の範囲として設定した後、補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能な値の範囲内において、補間画素の画素データの値と各対向画素の画素データの値との差の絶対値の和と各対向画素の周辺の原画素の画素データの値に基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データの値と相関最小値とを求める第７ステップ、ならびに上記各組毎に求められた、相関値が最小となる補間画素の画素データの値と相関最小値とに基づいて、補間画素の画素データの値を求める第８ステップを備えていることを特徴とする。
【００４２】
第１の原画素の画素データの値をｄ１、第４の原画素の画素データの値をｄ４、第５の原画素の画素データの値をｄ５、第６の原画素の画素データの値をｄ６とし、第１のエッジ成分をＥＬとすると、第１ステップでは、次式（１３）に基づいて第１のエッジ成分ＥＬが算出される。また、第２の原画素の画素データの値をｄ２、第３の原画素の画素データの値をｄ３、第７の原画素の画素データの値をｄ７、第８の原画素の画素データの値をｄ８とし、第２のエッジ成分をＥＲとすると、第２ステップでは、次式（１４）に基づいて第２のエッジ成分ＥＲが算出される。
【００４３】
ＥＬ＝−ｄ５＋ｄ１＋ｄ４−ｄ６      …（１３）
ＥＲ＝−ｄ７＋ｄ２＋ｄ３−ｄ８      …（１４）
【００４４】
擬似ノイズ成分をＱとし、第１のエッジ成分をＥＬ、第２のエッジ成分をＥＲとすると、第３ステップで求められる補正後の第１のエッジ成分ＥＬ１は次式（１５）で表され、補正後の第２のエッジ成分ＥＲ１は次式（１６）で表される。
【００４５】
ｉｆ  −Ｑ≦ＥＬ≦Ｑ，ｔｈｅｎ  ＥＬ１＝０，
ｉｆ  ＥＬ＞Ｑ  ｏｒ  ＥＬ＜−Ｑ，ｔｈｅｎ  ＥＬ１＝ＥＬ  …（１５）
【００４６】
ｉｆ  −Ｑ≦ＥＲ≦Ｑ，ｔｈｅｎ  ＥＲ１＝０，
ｉｆ  ＥＲ＞Ｑ  ｏｒ  ＥＲ＜−Ｑ，ｔｈｅｎ  ＥＲ１＝ＥＲ  …（１６）
【００４７】
補正後の第１のエッジ成分をＥＬ１、補正後の第２のエッジ成分をＥＲ１、第１の原画素の画素データの値と第４の原画素の画素データの値のうち大きい方をｄＬmax 、小さい方をｄＬmin 、ｄＬmax とｄＬmin との平均をｄＬｃ、第２の原画素の画素データの値と第３の原画素の画素データの値のうち大きい方をｄＲmax 、小さい方をｄＲmin 、ｄＲmax とｄＲmin との平均をｄＲｃ、αおよびγを予め設定された係数とすると、第４ステップでは、次式（１７）に基づいて第１の設定可能な値の範囲ＳＬが求められるとともに次式（１８）に基づいて第２の設定可能な値の範囲ＳＲが求められる。
【００４８】
ｉｆ  ＥＬ１≧０，ｔｈｅｎ  ｄＬmin ・α＋ｄＬｃ（１−α）≦ＳＬ≦ｄＬmax ・α＋ｄＬｃ（１−α）＋ＥＬ１・γ，
ｉｆ  ＥＬ１＜０，ｔｈｅｎ  ｄＬmin ・α＋ｄＬｃ（１−α）＋ＥＬ１・γ≦ＳＬ≦ｄＬmax ・α＋ｄＬｃ（１−α）                      …（１７）
【００４９】
ｉｆ  ＥＲ１≧０，ｔｈｅｎ  ｄＲmin ・α＋ｄＲｃ（１−α）≦ＳＲ≦ｄＲmax ・α＋ｄＲｃ（１−α）＋ＥＲ１・γ，
ｉｆ  ＥＲ１＜０，ｔｈｅｎ  ｄＲmin ・α＋ｄＲｃ（１−α）＋ＥＲ１・γ≦ＳＲ≦ｄＲmax ・α＋ｄＲｃ（１−α）                      …（１８）
【００５０】
第７ステップで設定された設定可能な値の範囲Ｓ内の画素データをｘとし、１組の対向画素を構成する２つの原画素の画素データの値を、それぞれｄａおよびｄｂとすると、その組に対する相関値Ｌは、次式（１９）によって算出される。
【００５１】
Ｌ＝｜ｄａ−ｘ｜＋｜ｄｂ−ｘ｜    …（１９）
【００５２】
第８ステップとしては、たとえば、第７ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００５３】
第８ステップとしては、たとえば、第７ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの値のうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００５４】
第８ステップとしては、たとえば、第７ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データの値を抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データの値を、補間画素の画素データの値として決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データの値を補間画素の画素データの値として決定し、選択した画素データが２つである場合にはそれらの値の平均値を補間画素の画素データの値として決定するステップを備えているものが用いられる。
【００５５】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００５６】
〔１〕第１の画像補間方法の説明
図１〜図６を参照して、第１の画像補間方法の概要について説明する。２次元の画像は、水平方向と垂直方向の２次元的な広がりを持っている。しかしながら、以下で説明する第１の画像補間方法の概要説明においては、説明を簡略化するために、垂直方向の１次元の補間方法について説明する。
【００５７】
図１は、原画素と補間される補間画素との関係を示している。
図１において、ライン（ｎ−１），ｎ，（ｎ＋１），（ｎ＋２）が原画像の水平ラインであり、ライン（ｉ−１），ｉ，（ｉ＋１）が補間される水平ラインである。
【００５８】
ここでは、ラインｉ上の画素（以下、補間画素という）Ｘを補間する場合について説明する。補間画素Ｘの真上の原画素をＤ１２、補間画素Ｘの真下の原画素をＤ２２とする。原画素Ｄ１２の両隣の原画素をＤ１１，Ｄ１３とする。原画素Ｄ２２の両隣の原画素をＤ２１，Ｄ２３とする。また、原画素Ｄ１２の真上の原画素をＤ０２とし、原画素Ｄ２２の真下の原画素をＤ３２とする。
【００５９】
以下の説明においては、原画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ２１，Ｄ２２，Ｄ２３，Ｄ０２，Ｄ３２および補間画素Ｘの画素データを、それぞれｄ１１，ｄ１２，ｄ１３，ｄ２１，ｄ２２，ｄ２３，ｄ０２，ｄ３２および補間画素ｘで表す。また、この例では、画素データが８ビットであり、黒データは”０”であり、白データは”２５５”であるとする。
【００６０】
図２は、第１の画像補間方法によって、補間画素Ｘの画素データｘを求めるための手順を示している。
【００６１】
まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、エッジ成分Ｅを算出する（ステップ１）。つまり、補間画素Ｘの真上にある２つの原画素Ｄ０２，Ｄ１２と、補間画素Ｘの真下にある原画素Ｄ２２，Ｄ３２の画素データを用いて、エッジ成分Ｅを、次式（２０）から求める。
【００６２】
Ｅ＝−ｄ０２＋ｄ１２＋ｄ２２−ｄ３２    …（２０）
【００６３】
補間画素Ｘが原画像の黒エッジ付近に存在している場合には、エッジ成分Ｅは負の比較的大きな値をとり、補間画素Ｘが原画像の白エッジ付近に存在している場合には、エッジ成分Ｅは正の比較的大きな値をとる。
【００６４】
次に、補間画素Ｘの画素データｘの設定可能範囲を決定する（ステップ２）。つまり、ステップ１で求められたエッジ成分Ｅに基づいて、補間画素Ｘの画素データｘの設定可能範囲を、図３に示すように決定する。図３において、ｄmax は、原画素Ｄ１２，Ｄ２２の画素データｄ１２，ｄ２２のうちの値の大きい方を表し、ｄmin は原画素Ｄ１２，Ｄ２２の画素データｄ１２，ｄ２２のうちの値の小さい方を表している。また、ｄは、原画素Ｄ１２，Ｄ２２の画素データｄ１２，ｄ２２の差（ｄmax −ｄmin ）を表している。
【００６５】
Ｔｈを予め設定されたしきい値とすると、エッジ成分Ｅと補間画素Ｘの画素データｘの設定可能範囲との関係は次のようになる。
【００６６】
▲１▼  Ｅ＞Ｔｈのときの補間画素Ｘの画素データｘの設定可能範囲Ｓ
ｄmin ＋（ｄ／２）≦Ｓ≦ｄmax 
この場合は、補間画素Ｘが原画像の白エッジ付近に存在していると想定し、設定可能範囲Ｓをｄmin 〜ｄmax の範囲のうち、ｄmax 側に近い範囲に設定している。
【００６７】
▲２▼  −Ｔｈ≦Ｅ≦Ｔｈのときの補間画素Ｘの画素データｘの設定可能範囲Ｓ
ｄmin ＋（ｄ／４）≦Ｓ≦ｄmax −（ｄ／４）
【００６８】
▲３▼  Ｅ＜−Ｔｈのときの補間画素Ｘの画素データｘの設定可能範囲Ｓ
ｄmin ≦Ｓ≦ｄmin ＋（ｄ／２）
この場合は、補間画素Ｘが原画像の黒エッジ付近に存在していると想定し、設定可能範囲Ｓをｄmin 〜ｄmax の範囲のうち、ｄmin 側に近い範囲に設定している。
【００６９】
次に、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲内から求める（ステップ３）。つまり、以下に説明するように、２つの斜め方向相関値Ｌ，Ｒの最小値Ｌmin ，Ｒmin とその最小値を与える画素データｘｌ，ｘｒとを、補間画素Ｘの画素データｘの設定可能範囲Ｓ内から求める。
【００７０】
補間画素Ｘの画素データの候補を求める方法には、２つの方法があるので、それらの方法について説明する。
【００７１】
（１）第１方法の説明
補間画素Ｘを斜め方向（左上斜め方向）に挟む２つの対向画素Ｄ１１，Ｄ２３と補間画素Ｘとの画素データの相関値Ｌを表す次式（２１）に、設定可能範囲Ｓ内の全ての画素データｘをそれぞれ代入していき、最小となる相関値Ｌmin と、最小相関値Ｌmin を与える画素データｘｌとを求める。
【００７２】
Ｌ＝｜ｄ１１−ｘ｜＋｜ｄ２３−ｘ｜    …（２１）
【００７３】
同様に、補間画素Ｘを斜め方向（右上斜め方向）に挟む２つの対向画素Ｄ１３，Ｄ２１と補間画素Ｘとの画素データの相関値Ｒを表す次式（２２）に、設定可能範囲Ｓ内の全ての画素データｘをそれぞれ代入していき、最小となる相関値Ｒmin と、最小相関値Ｒmin を与える画素データｘｒとを求める。
【００７４】
Ｒ＝｜ｄ１３−ｘ｜＋｜ｄ２１−ｘ｜    …（２２）
【００７５】
このようにして、求められた画素データｘｌ，ｘｒが、補間画素Ｘの画素データ候補となる。ただし、このような方法では、最小相関値Ｌmin を与える画素データｘｌとして、複数の画素データが該当する場合がある。同様に、最小相関値Ｒmin を与える画素データｘｒとして、複数の画素データが該当する場合がある。
【００７６】
最小相関値Ｌmin を与える画素データｘｌとして、複数の画素データが該当する場合には、それらの平均値を最小相関値Ｌmin を与える画素データｘｌとして決定するようにすればよい。同様に、最小相関値Ｒmin を与える画素データｘｒとして、複数の画素データが該当する場合には、それらの平均値を最小相関値Ｒmin を与える画素データｘｒとして決定するようにすればよい。
【００７７】
（２）第２方法の説明
図４は、相関値Ｌと画素データｘとの関係を表している。図４におけるｘmin は、対向画素Ｄ１１，Ｄ２３の画素データｄ１１，ｄ２３のうち小さい方の画素データを示し、ｘmax は、画素データｄ１１，ｄ２３のうち大きい方の画素データを示している。また、ｘｄは画素データｄ１１，ｄ２３の差（ｘmax −ｘmin ）を示している。
【００７８】
図４に示す相関値Ｌと画素データｘとの関係から、上記式（２１）は、次式（２３）のように変形することができる。
【００７９】
Ｌ＝ｘｄ＋２（ｘ−ｘmax ）    （ｘ＞ｘmax ）
Ｌ＝ｘｄ                      （ｘmin ≦ｘ≦ｘmax ）
Ｌ＝ｘｄ＋２（ｘmin −ｘ）    （ｘ＜ｘmin ）              …（２３）
【００８０】
なお、相関値Ｌについての変形式のみ示したが、上記式（２２）の相関値Ｒについても同様に変形することができる。
【００８１】
以下、最小相関値Ｌmin ，Ｒmin 及び画素データｘｌ，ｘｒの求め方（第２方法）について説明する。ここでは、最小相関値Ｌmin 及び画素データｘｌの求め方について説明する。
【００８２】
図５の（ａ）〜（ｆ）は、相関値Ｌと画素データｘとの関係を示すグラフと画素データｘの設定可能範囲を示している。
【００８３】
図５において、ｘａは設定可能範囲内の画素データｘの最小値を示し、ｘｂは設定可能範囲内の画素データｘの最大値を示している。
【００８４】
▲１▼  ｘｂ≦ｘmin のとき
図５（ａ）のように、画素データｘの設定可能範囲がｘmin 以下のときには、画素データｘｂにおいて相関値Ｌが最小となるので、最小相関値Ｌmin はｘｄ＋２（ｘmin −ｘｂ）となる。又、このときの画素データｘｌはｘｂである。
【００８５】
▲２▼  ｘmax ≦ｘａのとき
図５（ｂ）のように、画素データｘの設定可能範囲がｘmax 以上のときには、画素データｘａにおいて相関値Ｌが最小となるので、最小相関値Ｌmin はｘｄ＋２（ｘａ−ｘmax ）となる。又、このときの画素データｘｌはｘａである。
【００８６】
▲３▼  ｘmin ≦ｘａ且つｘｂ≦ｘmax のとき
図５（ｃ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の間にあるときには、設定可能範囲の任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなるので最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、設定可能範囲の中央の値（ｘａ＋ｘｂ）／２に決定される。
【００８７】
▲４▼  ｘａ＜ｘmin 且つｘmax ＜ｘｂのとき
図５（ｄ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の範囲よりも広い範囲となるときには、画素データｘmin 〜ｘmax の任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなる。したがって、最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、画素データｘmin ，ｘmax の平均値（ｘmin ＋ｘmax ）／２に決定される。
【００８８】
▲５▼  ｘａ＜ｘmin 且つｘmin ＜ｘｂ≦ｘmax のとき
図５（ｅ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の範囲よりも左側にずれているときには、画素データｘmin 〜ｘｂの任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなる。したがって、最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、画素データｘmin ，ｘｂの平均値（ｘmin ＋ｘｂ）／２に決定される。
【００８９】
▲６▼  ｘmin ≦ｘａ＜ｘmax 且つｘmax ≦ｘｂのとき
図５（ｆ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の範囲よりも右側にずれているときには、画素データｘａ〜ｘmax の任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなる。したがって、最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、画素データｘａ，ｘmax の平均値（ｘａ＋ｘmax ）／２に決定される。
【００９０】
このようにして、最小相関値Ｌmin 及び画素データｘｌが求められる。尚、最小相関値Ｒmin 及び画素データｘｒについても、最小相関値Ｌmin 及び画素データｘｌと同様にして求められる。
【００９１】
ステップ３によって、最小相関値Ｌmin ，Ｒmin およびそれを与える画素データｘｌ，ｘｒが求められると、両最小相関値Ｌmin ，Ｒmin のうち小さい方の相関値を与える画素データを抽出する（ステップ４）。
【００９２】
両最小相関値Ｌmin ，Ｒmin が異なる場合には、１つの画素データが抽出され、両最小相関値Ｌmin ，Ｒmin が同じ場合には、２つの画素データが抽出される。
【００９３】
ステップ４において１つの画素データｘｌまたはｘｒが抽出された場合には（ステップ５でＹＥＳ）、抽出された画素データが補間画素Ｘの画素データｘとして決定される（ステップ６）。ステップ４において、２つの（複数の）画素データｘｌ，ｘｒが選択された場合には（ステップ５でＮＯ）、画素データｘｌ，ｘｒの平均値が補間画素Ｘの画素データｘに決定される（ステップ７）。
詳しくは次の通りである。
【００９４】
▲１▼  ｉｆ  Ｌmin ＜Ｒmin ，ｔｈｅｎ  ｘ＝ｘｌ
▲２▼  ｉｆ  Ｌmin ＞Ｒmin ，ｔｈｅｎ  ｘ＝ｘｒ
▲３▼  ｉｆ  Ｌmin ＝Ｒmin ，ｔｈｅｎ  ｘ＝（ｘｌ＋ｘｒ）／２
【００９５】
なお、上記ステップ３では、補間画素Ｘを斜め方向に挟む対向画素の組として、２組が選択されているが、２組より多い組を選択してもよい。たとえば、図  ６に示すように、Ｄ１１とＤ２７、Ｄ１２とＤ２６、Ｄ１３とＤ２５、Ｄ１５とＤ２３、Ｄ１６とＤ２２、Ｄ１７とＤ２１というように、６組の対向画素を選択してもよい。この場合には、それぞれの対向画素の組毎に、相関値の最小値を与える画素データがステップ３で求められる。つまり、６つの画素データ候補が求められる。
【００９６】
そして、６組の対向画素の組に対する相関最小値のうち、最小のものが３以上ある場合には、ステップ４では、これらの６つの画素データ候補のうちから、３以上の画素データが抽出される。
【００９７】
ステップ４で３以上の画素データが選択された場合に、補間画素Ｘの画素データｘを決定する方法としては、次の３つの方法がある。
【００９８】
第１は、ステップ４で選択された３以上の画素データの平均値を算出し、その算出結果を補間画素Ｘの画素データｘとして決定する方法である。第２は、ステップ４で選択された３以上の画素データのうちの最大値と最小値とを抽出してそれらの平均値を算出し、その算出結果を補間画素Ｘの画素データｘとして決定する方法である。
【００９９】
第３は、ステップ４で選択された３以上の画素データのうち、補間画素Ｘに最も近接した対向画素から得られる画素データを選択し、選択した画素データを補間画素Ｘの画素データｘとして決定する方法である。ただし、補間画素Ｘに最も近接した対向画素から得られる画素データが２つ存在する場合には、それら平均を値を算出し、その算出結果を補間画素Ｘの画素データｘとして決定する。
【０１００】
〔１−１〕  第１の画像補間方法を用いた画像補間装置の説明
〔１−１−１〕第１の画像補間装置の説明
上記〔１〕では、斜め方向の対向画素の組数を２としたときの画像補間方法について説明したが、ここでは、図６を用いて説明したように、斜め方向の対向画素の組数を６である場合について説明する。なお、説明を簡略化するために、垂直方向の１次元の補間を行なう画像補間装置について説明する。
【０１０１】
図７は、第１の画像補間装置の構成を示している。
メモリ部１は、入力端子ＩＮを介して入力される原画素の画素データを記憶する。補間相関値演算部２は、メモリ部１に記憶されている原画素の画素データを用いて、６組の対向画素から得られる６つの最小相関値Ｌ１min 〜Ｌ３min ，Ｒ１min 〜Ｒ３min と、この６つの最小相関値をそれぞれ与える補間画素Ｘの画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒとを算出する。
【０１０２】
最小値抽出部３は、補間相関値演算部２によって算出された６つの最小相関値Ｌ１min 〜Ｌ３min ，Ｒ１min 〜Ｒ３min のうち最小となる最小相関値を識別する。画素データ選択部４は、最小値抽出部３の識別結果に基づいて、補間相関値演算部２から与えられる６つの画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒから補間画素Ｘの画素データの候補となる画素データを選択する。
【０１０３】
最大値最小値抽出部５は、画素データ選択部４で選択された画素データのうち最大、最小となる画素データを抽出する。平均値演算部６は、最大値最小値抽出部５で抽出された２つの画素データの平均値を算出し、この算出結果を補間画素Ｘの画素データとして出力端子ＯＵＴに出力する。
【０１０４】
画像補間装置の動作について説明する。
【０１０５】
図６は、原画素と補間される補間画素との関係を表している。
図６のように、補間画素Ｘに対して、原画素Ｄ０４，Ｄ１１〜Ｄ１７，Ｄ２１〜Ｄ２７，Ｄ３４が配されているとする。補間画素Ｘおよび原画素Ｄ０４，Ｄ１１〜Ｄ１７，Ｄ２１〜Ｄ２７，Ｄ３４の画素データを、それぞれｘ，ｄ０４，ｄ１１〜ｄ１７，ｄ２１〜ｄ２７，ｄ３４で表す。
【０１０６】
まず、補間画素Ｘの真上および真下にある４つの原画素Ｄ０４，Ｄ１４，Ｄ２４，Ｄ３４の画素データがメモリ部１より補間相関値演算部２に入力され、エッジ成分Ｅが次式（２４）より求められる。
【０１０７】
Ｅ＝−ｄ０４＋ｄ１４＋ｄ２４−ｄ３４      …（２４）
【０１０８】
このようにして求められたエッジ成分Ｅによって、図２のステップ２と同様な方法で、補間画素Ｘの画素データｘの設定可能範囲Ｓが求められる。  そして、対向画素Ｄ１１，Ｄ２７と補間画素Ｘとの画素データの相関値Ｌ１、対向画素Ｄ１２，Ｄ２６と補間画素Ｘとの画素データの相関値Ｌ２、対向画素Ｄ１３，Ｄ２５と補間画素Ｘとの画素データの相関値Ｌ３、対向画素Ｄ１７，Ｄ２１と補間画素Ｘとの画素データの相関値Ｒ１、対向画素Ｄ１６，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒ２、及び対向画素Ｄ１５，Ｄ２３と補間画素Ｘとの画素データの相関値Ｒ３をそれぞれを表す以下の式（２５）〜（３０）に基づいて、図２のステップ３と同様な方法で、相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min と、これらの最小値を与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが求められる。
【０１０９】
Ｌ１＝｜ｄ１１−ｘ｜＋｜ｄ２７−ｘ｜    …（２５）
Ｌ２＝｜ｄ１２−ｘ｜＋｜ｄ２６−ｘ｜    …（２６）
Ｌ３＝｜ｄ１３−ｘ｜＋｜ｄ２５−ｘ｜    …（２７）
Ｒ１＝｜ｄ１７−ｘ｜＋｜ｄ２１−ｘ｜    …（２８）
Ｒ２＝｜ｄ１６−ｘ｜＋｜ｄ２２−ｘ｜    …（２９）
Ｒ３＝｜ｄ１５−ｘ｜＋｜ｄ２３−ｘ｜    …（３０）
【０１１０】
このように、相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min と、これらの最小値を与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが補間相関値演算部２で求められると、最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min が最小値抽出部３に、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが画素データ選択部４に与えられる。
【０１１１】
最小値抽出部３は、最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min が入力されるとともに、この入力された最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min に応じた制御信号であるＦｌａｇ１〜Ｆｌａｇ６を出力する。
【０１１２】
この最小値抽出部３は、相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min にそれぞれ対応した制御信号Ｆｌａｇ１〜６を出力する。相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min のうち最も小さい値に応じた制御信号をＨｉｇｈとし、それ以外の値に応じた制御信号をＬｏｗとする。
【０１１３】
例えば、最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min のうち、Ｌ１min とＲ２min とが最小である場合には、制御信号Ｆｌａｇ１とＦｌａｇ５をＨｉｇｈとし、その他の制御信号Ｆｌａｇ２〜Ｆｌａｇ４，Ｆｌａｇ６をＬｏｗとする。尚、Ｈｉｇｈとなる制御信号は、この例のように２つとは限られず、１〜６つのうちのいずれかである。
【０１１４】
最小値抽出部３から出力される制御信号Ｆｌａｇ１〜Ｆｌａｇ６は、画素データ選択部４に与えられる。画素データ選択部４では、最小値抽出部３から与えられた制御信号のうちＨｉｇｈとなる制御信号に対応した画素データを最大値最小値抽出部５に出力する。
【０１１５】
最小値抽出部３から与えられる制御信号が、上記の例のように、制御信号Ｆｌａｇ１，Ｆｌａｇ５がＨｉｇｈで、その他の制御信号Ｆｌａｇ２〜Ｆｌａｇ４，Ｆｌａｇ６がＬｏｗであるとき、画素データｘ１ｌ，ｘ２ｒが選択されて最大値最小値抽出部５に与えられる。
【０１１６】
最大値最小値抽出部５では、画素データ選択部４から与えられた画素データのうちから、最大の画素データと最小の画素データとが選択されて、平均値演算部６に与えられる。平均値演算部６では、最大値最小値抽出部５から与えられた２つの画素データの平均値が算出され、その算出結果が補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力される。
【０１１７】
最大値最小値抽出部５に１つの画素データのみしか与えられなかった場合には、最大値最小値抽出部５はその１つの画素データを平均値演算部６に与える。この場合には、平均値演算部６は与えられた１つの画素データを補間画素Ｘの画素データｘとしてそのまま出力する。
【０１１８】
なお、原画素の画素データは、メモリ部１および補間相関値演算部２を介して、出力端子ＯＵＴに出力される。つまり、ｎライン上の原画素の画素データが出力された後、ｉライン上の補間画素の画素データが出力される。
【０１１９】
補間相関値演算部２でエッジ成分を比較する閾値Ｔｈを外部から入力できるようにして、閾値Ｔｈを変更可能にすると、再生される画像に最適な補間処理を施すことができる。
【０１２０】
上記第１の画像補間装置は、ライン数を増やすものであるが、ライン上の画素数を増やすには、水平方向において同様の補間処理を行うようにすればよい。
【０１２１】
なお、図７において、最大値最小値抽出部５および平均値演算部６を省略するとともに、画素データ選択部４の後段に平均値演算部を設け、画素データ選択部４によって複数の画素データが選択された場合に、それらの画素データの平均値を算出し、その算出結果を補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力させるようにしてもよい。
【０１２２】
〔１−１−２〕  第２の画像補間装置の説明
図８は、第２の画像補間装置の構成を示している。
図８において、図７と同じものには同一の符号を付して、その説明を省略する。補間画素Ｘと原画素との関係は、図６のような関係にあるものとする。
【０１２３】
この画像補間装置は、入力端子ＩＮと、出力端子ＯＵＴと、メモリ部１と、補間相関値演算部２と、最小値抽出部３と、画素データ選択部４と、画素データ選択部４から与えられる画素データより補間画素Ｘに最も近接した対向画素より求められる画素データを抽出する補間画素データ抽出部７とを備えている。
【０１２４】
メモリ部１、補間相関値演算部２、最小値抽出部３および画素データ選択部４の動作は、図７のメモリ部１、補間相関値演算部２、最小値抽出部３、及び画素データ選択部４の動作と同じである。
【０１２５】
補間相関値演算部２で最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min 及び画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが求められ、最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min が最小値抽出部３に送出されるとともに、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが画素データ選択部４に送出される。
【０１２６】
最小値抽出部３からは、最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min それぞれに対応した制御信号Ｆｌａｇ１〜Ｆｌａｇ６が出力される。画素データ選択部４では、Ｈｉｇｈとなっている制御信号に対応する画素データが、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒより選択されて、補間画素データ抽出部７に与えられる。
【０１２７】
補間画素データ抽出部７は、画素データ選択部４によって与えられた画素データのうち、補間画素Ｘに最も近接した対向画素の組より得られる画素データが抽出され、補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力される。この際、抽出された画素データが２つある場合には、これらの画素データの平均が算出され、その算出結果が補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力される。
【０１２８】
例えば、画素データ選択部４で選択された画素データがｘ１ｌ，ｘ２ｌ，ｘ１ｒのとき、補間画素Ｘに最も近接した対向画素の組より得られる画素データは、対向画素Ｄ１２，Ｄ２６より得られる画素データｘ２ｌであるので、この画素データｘ２ｌが、補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力される。
【０１２９】
また、画素データ選択部４で選択された画素データがｘ１ｌ，ｘ２ｌ，ｘ２ｒのとき、補間画素Ｘに最も近接した対向画素の組より得られる画素データは、対向画素Ｄ１２，Ｄ２６より得られる画素データｘ２ｌ及び対向画素Ｄ１６，Ｄ２２より得られる画素データｘ２ｒであるので、この画素データｘ２ｌ，ｘ２ｒの平均値（ｘ２ｌ＋ｘ２ｒ）／２が、補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力される。
【０１３０】
なお、原画素の画素データは、メモリ部１および補間相関値演算部２を介して、出力端子ＯＵＴに出力される。つまり、ｎライン上の原画素の画素データが出力された後、ｉライン上の補間画素の画素データが出力される。
【０１３１】
また、上記第２の画像補間装置は、ライン数を増やすものであるが、ライン上の画素数を増やすには、水平方向において同様の補間処理を行うようにすればよい。
【０１３２】
第１の画像補間方法では、エッジ成分Ｅに基づいて補間画素の画素データの設定可能範囲を決定した後に、斜め方向の相関値に基づいて、補間画素の画素データの候補を抽出している。補間画素の画素データの設定可能範囲を決定していることの利点について、図９を用いて説明する。図９において黒丸は黒データの原画素を、白丸は白データの原画素を示している。また、Ｘは補間画素を示している。図９の説明においては、説明を簡単にするために、白データを”１”とし、黒データを”０”とする。
【０１３３】
図９に示すように、白い背景中に黒い細い線がある場合には、補間画素Ｘの画素データを黒データ”０”とすることが好ましい。
【０１３４】
補間画素の画素データの設定可能範囲を決定せずに、斜め方向の相関値に基づいて、補間画素の画素データの候補を抽出する場合について説明する。この場合には、対向画素Ｄ１３，Ｄ２５に対応する相関値（｜ｄ１３−ｘ｜＋｜ｄ２５−ｘ｜）の最小値は、｜１−１｜＋｜１−１｜＝０となり、その相関最小値を与える画素データｘは１となる。また、対向画素Ｄ１５，Ｄ２３に対応する相関値（｜ｄ１５−ｘ｜＋｜ｄ２３−ｘ｜）の最小値は、｜０−０｜＋｜０−０｜＝０となり、その相関最小値を与える画素データｘは０となる。したがって、補間画素Ｘの画素データｘは、（１＋０）／２＝０．５となり、黒データとならない。
【０１３５】
第１の画像補間方法のように補間画素の画素データの設定可能範囲を決定した後に、斜め方向の相関値に基づいて、補間画素の画素データの候補を抽出する場合について説明する。この場合には、エッジ成分Ｅ（＝−ｄ０４＋ｄ１４＋ｄ２４−ｄ３４）は、−１＋０＋１−１＝−１となり、補間画素Ｘの画素データｘの設定可能範囲の範囲は０≦ｘ≦０．５となる。
【０１３６】
この設定範囲内において、対向画素Ｄ１３，Ｄ２５に対応する相関値の最小値を求めると、｜１−０．５｜＋｜１−０．５｜＝１となり、その相関最小値を与える画素データｘは０．５となる。また、対向画素Ｄ１５，Ｄ２３に対応する相関値の最小値は、｜０−０｜＋｜０−０｜＝０となり、その相関最小値を与える画素データｘは０となる。したがって、補間画素Ｘの画素データｘは、０となる。
【０１３７】
〔２〕第２の画像補間方法の説明
第２の画像補間方法について説明する。２次元の画像は、水平方向と垂直方向の２次元的な広がりを持っている。しかしながら、説明を簡略化するために、垂直方向の１次元の補間方法について説明する。
【０１３８】
図１０は、第２の画像補間方法による画像補間処理手順を示している。
ここでは、図１１に示すように、ラインｎとライン（ｎ＋１）との間のラインｉ上にあり、かつラインｎ上の原画素Ｄ１３とライン（ｎ＋１）上の原画素Ｄ２３との間にある補間画素Ｘの画素データを求める方法について説明する。
【０１３９】
まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、エッジ成分Ｅを算出する（ステップ１１）。つまり、補間画素Ｘの真上にある２つの原画素Ｄ０３，Ｄ１３と、補間対象画素Ｘの真下にある原画素Ｄ２３，Ｄ３３の画素データを用いて、エッジ成分Ｅを、次式（３１）から求める。
【０１４０】
Ｅ＝−ｄ０３＋ｄ１３＋ｄ２３−ｄ３３    …（３１）
【０１４１】
次に、予め設定された擬似ノイズ成分をＮとして、エッジ成分Ｅが−Ｑ≦Ｅ≦Ｑの範囲内にあるか否かを判定する（ステップ１２）。この擬似ノイズ成分Ｑは外部より制御可能な変数である。
【０１４２】
そして、この判定結果に基づいてエッジ成分Ｅを補正する。つまり、補正後のエッジ成分をＥ１とすると、エッジ成分Ｅが−Ｑ≦Ｅ≦Ｑの範囲内にある場合には、補正後のエッジ成分Ｅ１を０とする（ステップ１３）。
【０１４３】
エッジ成分Ｅが−Ｑ≦Ｅ≦Ｑの範囲外にある場合、つまり、Ｅ＜−ＱまたはＥ＞Ｑである場合には、補正後のエッジ成分Ｅ１をＥとする（ステップ１４）。
したがって、エッジ成分Ｅと補正後のエッジ成分Ｅ１との関係は、次式３２で表されるとともに、図１２のようなグラフで表される。
【０１４４】
Ｅ１＝０        （−Ｑ≦Ｅ≦Ｑ）
Ｅ１＝Ｅ        （Ｅ＞Ｑ  ｏｒ  Ｅ＜−Ｑ）          …（３２）
【０１４５】
このように擬似ノイズ成分Ｑを用いてエッジ成分Ｅを補正することによって、エッジ成分Ｅに現れるノイズの影響を低減している。
【０１４６】
次に、補正後のエッジ成分Ｅ１に基づいて、補間画素Ｘの画素データｘの設定可能範囲Ｓを決定する（ステップ１５）。
【０１４７】
図１３に基づいて、設定可能範囲Ｓの決定方法について説明する。図１３において、ｄmax は原画素Ｄ１３，Ｄ２３の画素データｄ１３，ｄ２３のうち値の大きい方を表し、ｄmin は画素データｄ１３，ｄ２３のうち値の小さい方を表している。また、ｄｃは、ｄmax とｄmin との平均値（ｄmax ＋ｄmin ）／２を表している。
【０１４８】
（１）Ｅ１≧０のときの画素データｘの設定可能範囲Ｓ
図１３（ａ）に示すように、ｄmin ×α＋ｄｃ×（１−α）≦Ｓ≦ｄmax ×α＋ｄｃ×（１−α）＋Ｅ１×γとする。ただし、α及びγは外部より制御可能な変数である。
【０１４９】
つまり、エッジ成分Ｅ１が０以上のときには、画素データｘの設定可能範囲Ｓは、ｄｃを中心とした範囲〔ｄmin ×α＋ｄｃ×（１−α）≦ｘ≦ｄmax ×α＋ｄｃ×（１−α）〕よりも、γ・Ｅ１の値分だけ上側に広がった範囲となる。
【０１５０】
（２）Ｅ１＜０のときのときの画素データｘの設定可能範囲Ｓ
図１３（ｂ）に示すように、ｄmin ×α＋ｄｃ×（１−α）＋Ｅ１×γ≦Ｓ≦ｄmax ×α＋ｄｃ×（１−α）とする。
【０１５１】
つまり、エッジ成分Ｅ１が０より小さいときには、画素データｘの設定可能範囲Ｓは、ｄｃを中心とした範囲〔ｄmin ×α＋ｄｃ×（１−α）≦ｘ≦ｄmax ×α＋ｄｃ×（１−α）〕よりも、γ・Ｅ１の値分だけ下側に広がった範囲となる。
【０１５２】
次に、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲Ｓ内から求める（ステップ１６）。
【０１５３】
補間画素Ｘの画素データの候補を求める方法は、図２のステップ３とほぼ同様であるが、相関値Ｌ，Ｒを求める式が図２のステップ３と異なっている。
【０１５４】
対向画素Ｄ１２，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌは、次式（３３）で表され、対向画素Ｄ１４，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒは、次式（３４）によって表される。
【０１５５】
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１×Ｈｌ−β２×Ｖｌ  …（３３）
【０１５６】
Ｒ＝｜ｄ１４−ｘ｜＋｜ｄ２２−ｘ｜＋β１×Ｈｒ−β２×Ｖｒ  …（３４）
【０１５７】
上記式（３３），（３４）    において、β１，β２は、外部から制御可能な変数である。
【０１５８】
また、Ｈｌは、次式（３５）によって求められる量ｄ１１〜ｄ１３の変化量Ｈｌ１と、次式（３６）によって求められるｄ２３〜ｄ２５の変化量Ｈｌ２のうち、大きい方を表している。つまり、Ｈｌ＝ＭＡＸ（Ｈｌ１，Ｈｌ２）である。ＭＡＸ（ａ，ｂ）は、ａおよびｂのうちの大きい方の値を選択することを示す記号である。
【０１５９】
また、Ｖｌは、次式（３７）によって求められるｄ０２〜ｄ２２の変化量Ｖｌｌと、次式（３８）によって求められるｄ１４〜ｄ３４の変化量Ｖｌ２のうち、小さい方を表している。つまり、Ｖｌ＝ＭＩＮ（Ｖｌ１，Ｖｌ２）である。ＭＩＮ（ａ，ｂ）は、ａおよびｂのうちの小さい方の値を選択することを示す記号である。
【０１６０】
Ｈｌ１＝｜ｄ１１−ｄ１２｜＋｜ｄ１２−ｄ１３｜    …（３５）
Ｈｌ２＝｜ｄ２３−ｄ２４｜＋｜ｄ２４−ｄ２５｜    …（３６）
Ｖｌ１＝｜ｄ０２−ｄ１２｜＋｜ｄ１２−ｄ２２｜    …（３７）
Ｖｌ２＝｜ｄ１４−ｄ２４｜＋｜ｄ２４−ｄ３４｜    …（３８）
【０１６１】
また、Ｈｒは、次式（３９）によって求められるｄ１３〜ｄ１５の変化量Ｈｒ１と、次式（４０）によって求められるｄ２１〜ｄ２３の変化量Ｈｒ２のうち、大きい方を表している。つまり、Ｈｒ＝ＭＡＸ（Ｈｒ１，Ｈｒ２）である。
【０１６２】
また、Ｖｒは、次式（４１）によって求められるｄ１２〜ｄ３２の変化量Ｖｒ１と、次式（４２）によって求められるｄ０４〜ｄ２４の変化量Ｖｒ２のうち、小さい方を表している。つまり、Ｖｒ＝ＭＩＮ（Ｖｒ１，Ｖｒ２）である。
【０１６３】
Ｈｒ１＝｜ｄ１３−ｄ１４｜＋｜ｄ１４−ｄ１５｜    …（３９）
Ｈｒ２＝｜ｄ２１−ｄ２２｜＋｜ｄ２２−ｄ２３｜    …（４０）
Ｖｒ１＝｜ｄ１２−ｄ２２｜＋｜ｄ２２−ｄ３２｜    …（４１）
Ｖｒ２＝｜ｄ０４−ｄ１４｜＋｜ｄ１４−ｄ２４｜    …（４２）
【０１６４】
なお、図１４は、相関値Ｌと画素データｘとの関係を表している。また、図１４において、ｘmin は、画素データｄ１２，ｄ２４のうち小さい方の画素データを示し、ｘmax は、画素データｄ１２，ｄ２４のうち大きい方の画素データを示している。また、ｘｄ＝ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌである。
【０１６５】
ｘｄ＝ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌとすると、上記式（３３）の相関値Ｌは、次式（４３）のように変形することができる。相関値Ｒについても、同様に変形することができる。
【０１６６】
Ｌ＝ｘｄ＋２（ｘ−ｘmax ）    （ｘ＞ｘmax ）
Ｌ＝ｘｄ                      （ｘmin ≦ｘ≦ｘmax ）
Ｌ＝ｘｄ＋２（ｘmin −ｘ）    （ｘ＜ｘmin ）              …（４３）
【０１６７】
最小相関値Ｌmin ，Ｒmin 及び画素データｘｌ，ｘｒは、図２のステップ３の第２方法で説明した方法、つまり図５を用いて説明した方法と同様な方法で求めることができる。この際、図５のグラフにおけるｘｄは、ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌを表すことになる。
【０１６８】
ステップ１６によって、最小相関値Ｌmin ，Ｒmin およびそれを与える画素データｘｌ，ｘｒが求められると、両最小相関値Ｌmin ，Ｒmin のうち小さい方の相関値を与える画素データを抽出する（ステップ１７）。
【０１６９】
両最小相関値Ｌmin ，Ｒmin が異なる場合には、１つの画素データが抽出され、両最小相関値Ｌmin ，Ｒmin が同じ場合には、２つの画素データが抽出される。
【０１７０】
ステップ１７において１つの画素データｘｌまたはｘｒが抽出された場合には（ステップ１８でＹＥＳ）、抽出された画素データが補間画素Ｘの画素データｘとして決定される（ステップ１９）。ステップ１７において、２つの（複数の）画素データｘｌ，ｘｒが選択された場合には（ステップ１８でＮＯ）、画素データｘｌ，ｘｒの平均値が補間画素Ｘの画素データｘに決定される（ステップ２０）。
【０１７１】
対向画素が２組の場合を用いて画像補間方法について説明したが、この対向画素は２組以上であっても構わない。
【０１７２】
図７または図８のような構成の画像補間装置において、第２の画像補間方法を用いて画像補間を実行させる場合には、補間相関値演算部２に図１０のステップ１１〜１６の処理を行なわせるようにすればよい。
【０１７３】
ここでは、図１５に示す補間画素Ｘの画素データｘを求める際の補間相関値演算部２の動作について説明する。また、斜め方向の対向画素の組数を６とした場合について説明する。
【０１７４】
補間相関値演算部２は、まず、図１０のステップ１１で説明したように、エッジ成分Ｅを次式（４４）式に基づいて求める。
【０１７５】
Ｅ＝−ｄ０５＋ｄ１５＋ｄ２５−ｄ３５      …（４４）
【０１７６】
次に、図１０のステップ１２〜１４で説明したように、エッジ成分Ｅに基づいて、ノイズ成分の影響を低減させたエッジ成分Ｅ１が求められる。つまり、補正後のエッジ成分Ｅ１が、次式（４５）に基づいて、補正される。
【０１７７】
Ｅ１＝０        （−Ｑ≦Ｅ≦Ｑ）
Ｅ１＝Ｅ        （Ｅ＞Ｑ  ｏｒ  Ｅ＜−Ｑ）          …（４５）
【０１７８】
次に、このようにして求められたエッジ成分Ｅ１によって、図１０のステップ１５で説明したように、補間画素Ｘの画素データｘの設定可能範囲Ｓが求められる。
【０１７９】
次に、図１０のステップ１６で説明したと同様な方法で、補間画素Ｘの画素データ候補が求められる。ただし、この例では、補間画素Ｘを斜め方向に挟む対向画素の組数は６である。
【０１８０】
つまり、対向画素Ｄ１２，Ｄ２８と補間画素Ｘとの画素データの相関値Ｌ１、対向画素Ｄ１３，Ｄ２７と補間画素Ｘとの画素データの相関値Ｌ２、対向画素Ｄ１４，Ｄ２６と補間画素Ｘとの画素データの相関値Ｌ３、対向画素Ｄ１８，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒ１、対向画素Ｄ１７，Ｄ２３と補間画素Ｘとの画素データの相関値Ｒ２および対向画素Ｄ１６，Ｄ２４と補間画素Ｘとの画素データの相関値Ｒ３をそれぞれ表す以下の式（４６）〜（５１）に基づいて、相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min と、この最小値を与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒとが求められる。
【０１８１】
Ｌ１＝｜ｄ１２−ｘ｜＋｜ｄ２８−ｘ｜＋β１×Ｈｌａ−β２×Ｖｌａ      …（４６）
Ｌ２＝｜ｄ１３−ｘ｜＋｜ｄ２７−ｘ｜＋β１×Ｈｌｂ−β２×Ｖｌｂ      …（４７）
Ｌ３＝｜ｄ１４−ｘ｜＋｜ｄ２６−ｘ｜＋β１×Ｈｌｃ−β２×Ｖｌｃ      …（４８）
Ｒ１＝｜ｄ１８−ｘ｜＋｜ｄ２２−ｘ｜＋β１×Ｈｒａ−β２×Ｖｒａ      …（４９）
Ｒ２＝｜ｄ１７−ｘ｜＋｜ｄ２３−ｘ｜＋β１×Ｈｒｂ−β２×Ｖｒｂ      …（５０）
Ｒ３＝｜ｄ１６−ｘ｜＋｜ｄ２４−ｘ｜＋β１×Ｈｒｃ−β２×Ｖｒｃ      …（５１）
【０１８２】
なお、上記式（４６）〜（５１）中のＨｌａ〜Ｈｌｃ，Ｈｒａ〜Ｈｒｃ，Ｖｌａ〜Ｖｌｃ，Ｖｒａ〜Ｖｒｃは、次式（５２）〜（６３）によって表される。
【０１８３】
Ｈｌａ＝ＭＡＸ（Ｈｌａ１，Ｈｌａ２）  …（５２）
Ｈｌｂ＝ＭＡＸ（Ｈｌｂ１，Ｈｌｂ２）  …（５３）
Ｈｌｃ＝ＭＡＸ（Ｈｌｃ１，Ｈｌｃ２）  …（５４）
Ｈｒａ＝ＭＡＸ（Ｈｒａ１，Ｈｒａ２）  …（５５）
Ｈｒｂ＝ＭＡＸ（Ｈｒｂ１，Ｈｒｂ２）  …（５６）
Ｈｒｃ＝ＭＡＸ（Ｈｒｃ１，Ｈｒｃ２）  …（５７）
Ｖｌａ＝ＭＩＮ（Ｖｌａ１，Ｖｌａ２）  …（５８）
Ｖｌｂ＝ＭＩＮ（Ｖｌｂ１，Ｖｌｂ２）  …（５９）
Ｖｌｃ＝ＭＩＮ（Ｖｌｃ１，Ｖｌｃ２）  …（６０）
Ｖｒａ＝ＭＩＮ（Ｖｒａ１，Ｖｒａ２）  …（６１）
Ｖｒｂ＝ＭＩＮ（Ｖｒｂ１，Ｖｒｂ２）  …（６２）
Ｖｒｃ＝ＭＩＮ（Ｖｒｃ１，Ｖｒｃ２）  …（６３）
【０１８４】
さらに、上記式（５２）〜（６３）中のＨｌａ１〜Ｈｌｃ１，Ｈｌａ２〜Ｈｌｃ２，Ｈｒａ１〜Ｈｒｃ１，Ｈｒａ２〜Ｈｒｃ２，Ｖｌａ１〜Ｖｌｃ１，Ｖｌａ２〜Ｖｌｃ２，Ｖｒａ１〜Ｖｒｃ１，Ｖｒａ２〜Ｖｒｃ２は、次式（６４）〜（８７）式によって表される。
【０１８５】
Ｈｌａ１＝｜ｄ１１−ｄ１２｜＋｜ｄ１２−ｄ１３｜  …（６４）
Ｈｌｂ１＝｜ｄ１２−ｄ１３｜＋｜ｄ１３−ｄ１４｜  …（６５）
Ｈｌｃ１＝｜ｄ１３−ｄ１４｜＋｜ｄ１４−ｄ１５｜  …（６６）
Ｈｌａ２＝｜ｄ２７−ｄ２８｜＋｜ｄ２８−ｄ２９｜  …（６７）
Ｈｌｂ２＝｜ｄ２６−ｄ２７｜＋｜ｄ２７−ｄ２８｜  …（６８）
Ｈｌｃ２＝｜ｄ２５−ｄ２６｜＋｜ｄ２６−ｄ２７｜  …（６９）
【０１８６】
Ｈｒａ１＝｜ｄ１７−ｄ１８｜＋｜ｄ１８−ｄ１９｜  …（７０）
Ｈｒｂ１＝｜ｄ１６−ｄ１７｜＋｜ｄ１７−ｄ１８｜  …（７１）
Ｈｒｃ１＝｜ｄ１５−ｄ１６｜＋｜ｄ１６−ｄ１７｜  …（７２）
Ｈｒａ２＝｜ｄ２１−ｄ２２｜＋｜ｄ２２−ｄ２３｜  …（７３）
Ｈｒｂ２＝｜ｄ２２−ｄ２３｜＋｜ｄ２３−ｄ２４｜  …（７４）
Ｈｒｃ２＝｜ｄ２３−ｄ２４｜＋｜ｄ２４−ｄ２５｜  …（７５）
【０１８７】
Ｖｌａ１＝｜ｄ０２−ｄ１２｜＋｜ｄ１２−ｄ２２｜  …（７６）
Ｖｌｂ１＝｜ｄ０３−ｄ１３｜＋｜ｄ１３−ｄ２３｜  …（７７）
Ｖｌｃ１＝｜ｄ０４−ｄ１４｜＋｜ｄ１４−ｄ２４｜  …（７８）
Ｖｌａ２＝｜ｄ１８−ｄ２８｜＋｜ｄ２８−ｄ３８｜  …（７９）
Ｖｌｂ２＝｜ｄ１７−ｄ２７｜＋｜ｄ２７−ｄ３７｜  …（８０）
Ｖｌｃ２＝｜ｄ１６−ｄ２６｜＋｜ｄ２６−ｄ３６｜  …（８１）
【０１８８】
Ｖｒａ１＝｜ｄ０８−ｄ１８｜＋｜ｄ１８−ｄ２８｜  …（８２）
Ｖｒｂ１＝｜ｄ０７−ｄ１７｜＋｜ｄ１７−ｄ２７｜  …（８３）
Ｖｒｃ１＝｜ｄ０６−ｄ１６｜＋｜ｄ１６−ｄ２６｜  …（８４）
Ｖｒａ２＝｜ｄ１２−ｄ２２｜＋｜ｄ２２−ｄ３２｜  …（８５）
Ｖｒｂ２＝｜ｄ１３−ｄ２３｜＋｜ｄ２３−ｄ３３｜  …（８６）
Ｖｒｃ２＝｜ｄ１４−ｄ２４｜＋｜ｄ２４−ｄ３４｜  …（８７）
【０１８９】
このようにして、最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min と、この最小値を与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが補間相関値演算部２で求められると、最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min が最小値抽出部３に、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒが画素データ選択部４に与えられる。
【０１９０】
図１０のステップ１５での設定可能範囲Ｓの決定方法と、図２のステップ２の設定可能範囲Ｓの決定方法とは異なっている。図１０のステップ１５での設定可能範囲Ｓの決定方法の利点について、図１６を用いて説明する。
【０１９１】
図１６において黒丸は黒データの原画素を、白丸は白データの原画素を、ハッチングの入れられた丸は灰色の原画素を、それぞれ示している。また、Ｘは補間画素を示している。図１６の説明においては、説明を簡単にするために、白データを”１”とし、黒データを”０”とし、灰色データを”０．５”とする。
【０１９２】
図１６に示すように、白い背景中に２本の黒い線があり、それらのつなぎ目部分が灰色となっている場合がある。このような場合には、つなぎ目の灰色の画素の間に補間される画素Ｘの画素データを黒データ”０”とすることが好ましい。
【０１９３】
第１画像補間方法によって補間画素Ｘの画素データを求める場合について説明する。この場合には、エッジ成分Ｅ（＝−ｄ０４＋ｄ１４＋ｄ２４−ｄ３４）は、−１＋０．５＋０．５−１＝−１となり、補間画素Ｘの画素データｘの設定可能範囲Ｓは０．５となる。したがって、補間画素Ｘの画素データｘは、０．５となり、黒データとならない。
【０１９４】
第２の画像補間方法のように補間画素Ｘの画素データを求める場合について説明する。この場合にも、エッジ成分Ｅ（＝−ｄ０４＋ｄ１４＋ｄ２４−ｄ３４）は、−１＋０．５＋０．５−１＝−１となる。また、Ｅ１＝−１となる。
【０１９５】
Ｅ１＜０なので、補間画素Ｘの画素データｘの設定可能範囲Ｓは、ｄmin ×α＋ｄｃ×（１−α）＋Ｅ１×γ≦Ｓ≦ｄmax ×α＋ｄｃ×（１−α）となる。ここで、説明の便宜上、α＝１，γ＝０．５とすると、設定可能範囲Ｓは、ｄmin ＋Ｅ１×０．５≦Ｓ≦ｄmax となる。つまり、０．５−０．５≦Ｓ≦０．５、つまり、０≦Ｓ≦０．５となる。
【０１９６】
また、説明の便宜上、相関値を求める式（４６）〜（５１）のβを０として、この設定範囲Ｓ内において、対向画素Ｄ１３，Ｄ２５に対応する相関値の最小値を求めると、｜１−０．５｜＋｜１−０．５｜＝１となり、その相関最小値を与える画素データｘは０．５となる。また、対向画素Ｄ１５，Ｄ２３に対応する相関値の最小値は、｜０−０｜＋｜０−０｜＝０となり、その相関最小値を与える画素データｘは０となる。したがって、補間画素Ｘの画素データｘは、０となる。
【０１９７】
図１０のステップ１６で用いられる相関値算出式と、図２のステップ３で用いられる相関値算出式とは異なっている。図１０のステップ１６で用いられる相関値算出式の利点について、図１７を用いて説明する。
【０１９８】
図１７において黒丸は黒データの原画素を、白丸は白データの原画素を、それぞれ示している。また、Ｘは補間画素を示している。図１７の説明においては、説明を簡単にするために、白データを”１”とし、黒データを”０”とし、灰色データを”０．５”とする。
【０１９９】
図１７に示すように、白い背景中に黒い線がある場合には、第１の画像補間方法では、原画素Ｄ１４と原画素Ｄ２４との間に画素Ｘを補間すると、原画素Ｄ１３と原画素Ｄ２３との間の補間画素の画素データより、補間画素Ｘの画素データが大きくなり、線の太さが変化してしまう。
【０２００】
このような場合に、第２の画像補間方法のように相関値を対向画素の近傍画素との繋がりも考慮して求めると、原画素Ｄ１４と原画素Ｄ２４との間の補間画素Ｘの画素データを、原画素Ｄ１３と原画素Ｄ２３との間の補間画素の画素データと等しくできるようになる。
【０２０１】
〔３〕第３の画像補間方法についての説明
次に、第３の画像補間方法について説明する。
【０２０２】
図１８は、原画素と補間される補間画素との関係を表している。
第３の画像補間方法では、図１８に示すように、４つの原画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の中心位置に画素が補間される。
【０２０３】
以下、４つの原画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の中心位置に配置される補間画素Ｘの画素データを求める方法について説明する。
【０２０４】
図１８の原画素Ｄ０１〜Ｄ０４，Ｄ１１〜Ｄ１４，Ｄ２１〜Ｄ２４，Ｄ３１〜Ｄ３４および補間画素Ｘの画素データを、それぞれ、ｄ０１〜ｄ０４，ｄ１１〜ｄ１４，ｄ２１〜ｄ２４，ｄ３１〜ｄ３４およびｘで表す。
【０２０５】
図１９は、第３の画像補間方法による画像補間処理手順を示している。
まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、２種類のエッジ成分ＥＬ，ＥＲを算出する（ステップ３１）。つまり、原画素Ｄ０１，Ｄ１２，Ｄ２３，Ｄ３４の画素データを用いて、エッジ成分ＥＬを次式（８８）に基づいて算出するとともに、原画素Ｄ０４，Ｄ１３，Ｄ２２，Ｄ３１の画素データを用いて、エッジ成分ＥＲを次式（８９）に基づいて算出する。
【０２０６】
ＥＬ＝−ｄ０１＋ｄ１２＋ｄ２３−ｄ３４      …（８８）
ＥＲ＝−ｄ０４＋ｄ１３＋ｄ２２−ｄ３１      …（８９）
【０２０７】
次に、各エッジ成分ＥＬ，ＥＲ毎に、補間画素Ｘの画素データｘの設定可能範囲ＳＬ，ＳＲを決定する（ステップ３２）。
【０２０８】
つまり、図２のステップ２と同様に、エッジ成分ＥＬに基づいて、補間画素Ｘの画素データｘの設定可能範囲ＳＬを求めるとともに、エッジ成分ＥＲに基づいて、補間画素Ｘの画素データｘの設定可能範囲ＳＲを求める。
【０２０９】
具体的には、予め定められた閾値をＴｈとし、原画素Ｄ１２の原画素の画素データｄ１２と原画素Ｄ２３の画素データｄ２３のうち大きい方をｄＬmax 、小さい方をｄＬmin 、ｄＬmax −ｄＬmin をｄＬとすると、設定可能範囲ＳＬは、次式（９０）に基づいて求められる。
【０２１０】
0003706529.tif 000006
【０２１１】
また、原画素Ｄ１３の原画素の画素データｄ１３と原画素Ｄ２２の画素データｄ２２のうち大きい方をｄＲmax 、小さい方をｄＲmin 、ｄＲmax −ｄＲmin をｄＲとすると、設定可能範囲ＳＲは、次式（９１）に基づいて求められる。
【０２１２】
0003706529.tif 000007
【０２１３】
次に、両設定可能範囲ＳＬ，ＳＲに、互いに重なり合う部分が存在するか否か判別する（ステップ３３）。
【０２１４】
図２０（ａ）に示すように、両設定可能範囲ＳＬ，ＳＲに、互いに重なり合う部分がある場合には、この重なりあった部分を補間画素Ｘの画素データｘの設定可能範囲Ｓとする（ステップ３４）。
【０２１５】
そして、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲内から求める（ステップ３５）。
【０２１６】
つまり、原画素Ｄ１１，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌ１、原画素Ｄ１２，Ｄ２３と補間画素Ｘとの画素データの相関値Ｌ２、原画素Ｄ０２，Ｄ３３と補間画素Ｘとの画素データの相関値Ｌ３、原画素Ｄ１４，Ｄ２１と補間画素Ｘとの画素データの相関値Ｒ１、原画素Ｄ１３，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒ２、および原画素Ｄ０３，Ｄ３２と補間画素Ｘとの画素データの相関値Ｒ３をそれぞれ表す式（９２）〜（９７）に基づいて、図２のステップ３の第２方法と同様な方法で、相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min と、この最小値を与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒを求める。
【０２１７】
Ｌ１＝｜ｄ１１−ｘ｜＋｜ｄ２４−ｘ｜  …（９２）
Ｌ２＝｜ｄ１２−ｘ｜＋｜ｄ２３−ｘ｜  …（９３）
Ｌ３＝｜ｄ０２−ｘ｜＋｜ｄ３３−ｘ｜  …（９４）
Ｒ１＝｜ｄ１４−ｘ｜＋｜ｄ２１−ｘ｜  …（９５）
Ｒ２＝｜ｄ１３−ｘ｜＋｜ｄ２２−ｘ｜  …（９６）
Ｒ３＝｜ｄ０３−ｘ｜＋｜ｄ３２−ｘ｜  …（９７）
【０２１８】
このようにして求めた最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min のうちから最小となる最小相関値を選択し、選択した最小相関値に対応する画素データを、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒから抽出する（ステップ３６）。
【０２１９】
ステップ３６で抽出した画素データに基づいて、補間画素Ｘの画素データｘを求める（ステップ３７）。
【０２２０】
つまり、ステップ３６で抽出した画素データから、最大となる画素データと最小となる画素データを抽出した後、この２つの画素データの平均値を算出しその算出結果を補間画素Ｘの画素データｘとする。ステップ３６で選択した画素データが１つである場合には、その画素データを補間画素Ｘの画素データｘとして決定する。
【０２２１】
なお、ステップ３６で抽出した画素データの平均値を算出し、この算出結果を補間画素Ｘの画素データｘとして決定してもよい。
【０２２２】
また、ステップ３６で選択した画素データから、補間画素Ｘに最も近接した対向画素より得られる画素データを抽出し、抽出した画素データを補間画素Ｘの画素データｘとするようにしてもよい。この際、補間画素Ｘに最も近接した対向画素の組より得られる画素データが２つある場合には、それらの画素データの平均値が、補間画素Ｘの画素データｘとされる。
【０２２３】
上記ステップ３３において、エッジ成分ＥＬ，ＥＲのそれぞれによって求められる設定可能範囲ＳＬ，ＳＲが図２０（ｂ）に示すように重なり合わないと判別された場合には、原画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の４画素の画素データｄ１２，ｄ１３，ｄ２２，ｄ２３の平均値（ｄ１２＋ｄ１３＋ｄ２２＋ｄ２３）／４を、補間画素Ｘの画素データｘと決定する（ステップ３８）。
【０２２４】
図７または図８のような構成の画像補間装置において、第３の画像補間方法を用いて画像補間を実行させる場合には、補間相関値演算部２に図１９のステップ３１〜３５およびステップ３８の処理を行なわせるようにすればよい。
【０２２５】
つまり、補間相関値演算部２は、まず、エッジ成分ＥＬ，ＥＲを求め、求めたエッジ成分ＥＬ，ＥＲ毎に設定可能範囲ＳＬ，ＳＲを求める。これらの設定可能範囲ＳＬ，ＳＲに互いに重なる部分があるときには、最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min 及びそれらを与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒを求める。そして、求めた最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min を最小値抽出部３に送るとともに、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒを画素データ選択部４に送る。
【０２２６】
一方、エッジ成分ＥＬ，ＥＲより求められた設定可能範囲ＳＬ，ＳＲが重なり合わないときは、画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の４画素の画素データの平均値を補間画素Ｘの画素データｘとして出力端子ＯＵＴに出力する。
【０２２７】
上記の例では、６組の対向画素を用いて補間画素の画素データを求めたが、この対向画素の組数は６組に限定されるものでなく、更に多くの組数の対向画素を用いて補間画素の画素データを求めても構わない。
【０２２８】
〔４〕第４の画像補間方法についての説明
次に、第４の画像補間方法について説明する。
【０２２９】
第４の画像補間方法では、第３の画像補間方法と同様に、図１８に示すように、４つの原画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の中心位置に画素が補間される。ただし、第３の画像補間方法とは、若干異なっている。
【０２３０】
ここでは、４つの原画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の中心位置に配置された補間画素Ｘの画素データを求める方法について説明する。
【０２３１】
図１８の原画素Ｄ０１〜Ｄ０４，Ｄ１１〜Ｄ１４，Ｄ２１〜Ｄ２４，Ｄ３１〜Ｄ３４および補間画素Ｘの画素データを、それぞれ、ｄ０１〜ｄ０４，ｄ１１〜ｄ１４，ｄ２１〜ｄ２４，ｄ３１〜ｄ３４およびｘで表す。
【０２３２】
図２１は、第４の画像補間方法による画像補間処理手順を示している。
まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、２種類のエッジ成分ＥＬ，ＥＲを算出する（ステップ４１）。つまり、原画素Ｄ０１，Ｄ１２，Ｄ２３，Ｄ３４の画素データを用いて、エッジ成分ＥＬを次式（９８）に基づいて算出するとともに、原画素Ｄ０４，Ｄ１３，Ｄ２２，Ｄ３１の画素データを用いて、エッジ成分ＥＲを次式（９９）に基づいて算出する。
【０２３３】
ＥＬ＝−ｄ０１＋ｄ１２＋ｄ２３−ｄ３４      …（９８）
ＥＲ＝−ｄ０４＋ｄ１３＋ｄ２２−ｄ３１      …（９９）
【０２３４】
次に、エッジ成分ＥＬについて補正処理を行なう。つまり、予め設定された擬似ノイズ成分をＮとして、エッジ成分ＥＬが−Ｑ≦ＥＬ≦Ｑの範囲内にあるか否かを判定する（ステップ４２）。
【０２３５】
そして、この判定結果に基づいてエッジ成分ＥＬを補正する。つまり、補正後のエッジ成分をＥＬ１とすると、エッジ成分ＥＬが−Ｑ≦ＥＬ≦Ｑの範囲内にある場合には、補正後のエッジ成分ＥＬ１を０とする（ステップ４３）。
【０２３６】
エッジ成分ＥＬが−Ｑ≦ＥＬ≦Ｑの範囲外にある場合、つまり、ＥＬ＜−ＱまたはＥＬ＞Ｑである場合には、補正後のエッジ成分ＥＬ１をＥＬとする（ステップ４４）。
【０２３７】
次に、エッジ成分ＥＲについても同様な補正処理を行なう。つまり、予め設定された擬似ノイズ成分をＮとして、エッジ成分ＥＲが−Ｑ≦ＥＲ≦Ｑの範囲内にあるか否かを判定する（ステップ４５）。
【０２３８】
そして、この判定結果に基づいてエッジ成分ＥＲを補正する。つまり、補正後のエッジ成分をＥＲ１とすると、エッジ成分ＥＲが−Ｑ≦ＥＲ≦Ｑの範囲内にある場合には、補正後のエッジ成分ＥＲ１を０とする（ステップ４６）。
【０２３９】
エッジ成分ＥＲが−Ｑ≦ＥＲ≦Ｑの範囲外にある場合、つまり、ＥＲ＜−ＱまたはＥＲ＞Ｑである場合には、補正後のエッジ成分ＥＲ１をＥＲとする（ステップ４７）。
【０２４０】
次に、補正後のＥＬ１に基づいて画素Ｘの画素データｘの設定可能範囲ＳＬを決定するとともに、補正後のＥＲ１に基づいて画素Ｘの画素データｘの設定可能範囲ＳＲを決定する（ステップ４８）。これらの設定可能範囲ＳＬ，ＳＲの求め方は、図１０のステップ１５と同じである。
【０２４１】
つまり、原画素Ｄ１２の画素データｄ１２と原画素Ｄ２３の画素データｄ２３のうち大きい方をｄＬmax 、小さい方をｄＬmin 、ｄＬmax とｄＬmin との平均をｄＬｃ、αおよびγを予め設定された係数とすると、設定可能範囲ＳＬは、次式（１００）に基づいて、求められる。
【０２４２】
0003706529.tif 000008
【０２４３】
また、原画素Ｄ１３の画素データｄ１３と原画素Ｄ２２の画素データｄ２２のうち大きい方をｄＲmax 、小さい方をｄＲmin 、ｄＲmax とｄＲmin との平均をｄＲｃ、αおよびγを予め設定された係数とすると、設定可能範囲ＳＲは、次式（１０１）に基づいて、求められる。
【０２４４】
0003706529.tif 000009
【０２４５】
次に、両設定可能範囲ＳＬ，ＳＲに、互いに重なり合う部分があるか否か判別する（ステップ４９）。
【０２４６】
両設定可能範囲ＳＬ，ＳＲに、互いに重なり合う部分がある場合には、この重なりあった部分を補間画素Ｘの画素データｘの設定可能範囲Ｓとする（ステップ５０）。
【０２４７】
そして、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲内から求める（ステップ５１）。
【０２４８】
つまり、原画素Ｄ１１，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌ１、原画素Ｄ１２，Ｄ２３と補間画素Ｘとの画素データの相関値Ｌ２、原画素Ｄ０２，Ｄ３３と補間画素Ｘとの画素データの相関値Ｌ３、原画素Ｄ１４，Ｄ２１と補間画素Ｘとの画素データの相関値Ｒ１、原画素Ｄ１３，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒ２、および原画素Ｄ０３，Ｄ３２と補間画素Ｘとの画素データの相関値Ｒ３をそれぞれ表す以下の式（１０２）〜（１０７）に基づいて、図２のステップ３の第２方法と同様な方法で、相関値Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の最小値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min と、この最小値を与える画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒを求める。
【０２４９】
Ｌ１＝｜ｄ１１−ｘ｜＋｜ｄ２４−ｘ｜  …（１０２）
Ｌ２＝｜ｄ１２−ｘ｜＋｜ｄ２３−ｘ｜  …（１０３）
Ｌ３＝｜ｄ０２−ｘ｜＋｜ｄ３３−ｘ｜  …（１０４）
Ｒ１＝｜ｄ１４−ｘ｜＋｜ｄ２１−ｘ｜  …（１０５）
Ｒ２＝｜ｄ１３−ｘ｜＋｜ｄ２２−ｘ｜  …（１０６）
Ｒ３＝｜ｄ０３−ｘ｜＋｜ｄ３２−ｘ｜  …（１０７）
【０２５０】
このようにして求めた最小相関値Ｌ１min 〜Ｌ３min 、Ｒ１min 〜Ｒ３min のうちから最小となる最小相関値を選択し、選択した最小相関値に対応する画素データを、画素データｘ１ｌ〜ｘ３ｌ，ｘ１ｒ〜ｘ３ｒから抽出する（ステップ５２）。
【０２５１】
ステップ５２で抽出した画素データに基づいて、補間画素Ｘの画素データｘを求める（ステップ５３）。
【０２５２】
つまり、ステップ５２で抽出した画素データから、最大となる画素データと最小となる画素データを抽出した後、この２つの画素データの平均値を算出しその算出結果を補間画素Ｘの画素データｘとする。ステップ５２で抽出した画素データが１つである場合には、その画素データを補間画素Ｘの画素データｘとして決定する。
【０２５３】
なお、ステップ５２で抽出した画素データの平均値を算出し、この算出結果を補間画素Ｘの画素データｘとして決定してもよい。
【０２５４】
また、ステップ５２で選択した画素データから、補間画素Ｘに最も近接した対向画素より得られる画素データを抽出し、抽出した画素データを補間画素Ｘの画素データｘとするようにしてもよい。この際、補間画素Ｘに最も近接した対向画素の組より得られる画素データが２つある場合には、それらの画素データの平均値が、補間画素Ｘの画素データｘとされる。
【０２５５】
上記ステップ４９において、エッジ成分ＥＬ１，ＥＲ１のそれぞれによって求められる設定可能範囲ＳＬ，ＳＲが重なり合わないと判別された場合には、原画素Ｄ１２，Ｄ１３，Ｄ２２，Ｄ２３の４画素の画素データｄ１２，ｄ１３，ｄ２２，ｄ２３の平均値（ｄ１２＋ｄ１３＋ｄ２２＋ｄ２３）／４を、補間画素Ｘの画素データｘと決定する（ステップ５４）。
【０２５６】
図７または図８のような構成の画像補間装置において、第４の画像補間方法を用いて画像補間を実行させる場合には、補間相関値演算部２に図２１のステップ４１〜５１およびステップ５４の処理を行なわせるようにすればよい。
【０２５７】
【発明の効果】
本発明によれば、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができるようになる。
【図面の簡単な説明】
【図１】原画素と補間画素との関係を示す模式図である。
【図２】第１の画像補間方法の手順を示すフローチャートである。
【図３】エッジ成分Ｅと補間画素Ｘの画素データｘの設定可能範囲Ｓとの関係を示すグラフである。
【図４】相関値Ｌと画素データｘの関係を表すグラフである。
【図５】相関値Ｌと画素データｘの関係を示すグラフ及び画素データの設定可能範囲Ｓを示す模式図である。
【図６】原画素と補間画素との関係を示す模式図である。
【図７】第１の画像補間装置の構成を示すブロック図である。
【図８】第２の画像補間装置の構成を示すブロック図である。
【図９】第１の画像補間方法の利点を説明するための模式図である。
【図１０】第２の画像補間方法の手順を示すフローチャートである。
【図１１】原画素と補間画素との関係を示す模式図である。
【図１２】エッジ成分Ｅと、補正後のエッジ成分Ｅ１との関係を示すグラフである。
【図１３】補間画素Ｘの画素データｘの設定可能範囲Ｓを示す模式図である。
【図１４】相関値Ｌと画素データｘの関係を表すグラフである。
【図１５】原画素と補間画素との関係を示す模式図である。
【図１６】第２の画像補間方法の利点を説明するための模式図である。
【図１７】第２の画像補間方法の利点を説明するための模式図である。
【図１８】原画素と補間画素との関係を示す模式図である。
【図１９】第３の画像補間方法の手順を示すフローチャートである。
【図２０】第１の設定可能範囲ＳＬと第２の設定可能範囲ＳＲとの関係を示す模式図である。
【図２１】第４の画像補間方法の手順を示すフローチャートである。
【符号の説明】
１  メモリ部
２  補間相関値演算部
３  最小値抽出部
４  画素データ選択部
５  最大値最小値抽出部
６  平均値演算部
７  補間画素データ抽出部
【図１】
0003706529.tif 000010
【図２】
0003706529.tif 000011
【図３】
0003706529.tif 000012
【図４】
0003706529.tif 000013
【図５】
0003706529.tif 000014
【図６】
0003706529.tif 000015
【図７】
0003706529.tif 000016
【図８】
0003706529.tif 000017
【図９】
0003706529.tif 000018
【図１０】
0003706529.tif 000019
【図１１】
0003706529.tif 000020
【図１２】
0003706529.tif 000021
【図１３】
0003706529.tif 000022
【図１４】
0003706529.tif 000023
【図１５】
0003706529.tif 000024
【図１６】
0003706529.tif 000025
【図１７】
0003706529.tif 000026
【図１８】
0003706529.tif 000027
【図１９】
0003706529.tif 000028
【図２０】
0003706529.tif 000029
【図２１】
0003706529.tif 000030