(57)【特許請求の範囲】
【請求項１】
第１の原画素と第１の原画素と隣接する第２の原画素との中間位置に画素を補間する画像補間方法において、
補間画素が原画像データのエッジ位置付近に存在するかを判定するための第１エッジ成分Ｅと第２エッジ成分Ｅｓとを算出する第１ステップ、
第１エッジ成分Ｅおよび第２エッジ成分Ｅｓと、第１および第２の原画素の画素データとに基づいて、補間画素の画素データの設定可能範囲を求める第２ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能範囲内において、補間画素の画素データと各対向画素との差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データと相関最小値とを求める第３ステップ、
上記各組毎に求められた、相関値が最小となる補間画素の画素データと相関最小値とに基づいて、補間画素の暫定画素データを求める第４ステップ、ならびに  第１の原画素と第２の原画素との線形相関値および線形補間値を算出する第５ステップ、ならびに
第３ステップで求められた相関最小値と、第５ステップで算出された線形相関値と、第４ステップで算出された暫定画素データと、第５ステップで算出された線形補間値とに基づいて、補間画素の最終的な画素データを算出する第６ステップを備えており、
第１の原画素に隣接しかつ第２の原画素と反対側にある原画素を第３の原画素とし、第２の原画素に隣接しかつ第１の原画素と反対側にある原画素を第４の原画素として、第１の原画素の画素データをｄ１、第２の原画素の画素データをｄ２、第３の原画素の画素データをｄ３、第４の原画素の画素データをｄ４とすると、第１ステップでは、演算式Ｅ＝−ｄ３＋ｄ１＋ｄ２−ｄ４に基づいて第１エッジ成分Ｅが算出されるとともに、演算式Ｅｓ＝｜ｄ３＋ｄ１−ｄ２−ｄ４｜に基づいて第２エッジ成分Ｅｓが算出されることを特徴とする画像補間方法。
【請求項２】
第１ステップで求められた第１エッジ成分をＥとし、第２エッジ成分をＥｓとし、第１の原画素の画素データと第２の原画素の画素データとの平均をｄｃとし、γｓ，γを予め設定された係数とすると、第２ステップでは、次式に基づいて、補間画素の画素データの設定可能範囲Ｓが求められることを特徴とする請求項１に記載の画像補間方法。
ｉｆ  Ｅ１≧０，ｔｈｅｎ  ｄｃ−Ｅｓ×γｓ≦Ｓ≦ｄｃ＋Ｅｓ×γｓ＋Ｅ×γ，
ｉｆ  Ｅ１＜０，ｔｈｅｎ  ｄｃ−Ｅｓ×γｓ＋Ｅ×γ≦Ｓ≦ｄｃ＋Ｅｓ×γｓ．
【請求項３】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度のうちの大きい方の値であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度のうちの小さい方の値であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
上側の対向画素Ｄ１２側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素Ｄ２４側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする請求項１に記載の画像補間方法。
【請求項４】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度のうちの大きい方の値であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度のうちの小さい方の値であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
任意の注目原画素の真上の原画素に対する水平方向の一次微分値と、当該注目原画素に対する水平方向の一次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の一次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素Ｄ１２が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度であり、
上側の対向画素Ｄ１２が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素Ｄ１２との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素Ｄ２４との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする請求項１に記載の画像補間方法。
【請求項５】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度のうちの大きい方の値であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度のうちの小さい方の値であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素Ｄ１２が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度であり、
上側の対向画素Ｄ１２が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素Ｄ１２との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素Ｄ２４との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする請求項１に記載の画像補間方法。
【請求項６】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度との和であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度との和であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、次式で表されることを特徴とする請求項１に記載の画像補間方法。
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌ
【請求項７】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度との和であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度との和であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
上側の対向画素Ｄ１２側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素Ｄ２４側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする請求項１に記載の画像補間方法。
【請求項８】
第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度との和であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度との和であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素Ｄ１２が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度であり、
上側の対向画素Ｄ１２が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素Ｄ１２との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、
下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素Ｄ２４との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする請求項１に記載の画像補間方法。
【請求項９】
第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの平均値を補間画素の暫定画素データとして決定するステップ、
を備えていることを特徴とする請求項１乃至８に記載の画像補間方法。
【請求項１０】
第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項１乃至８に記載の画像補間方法。
【請求項１１】
第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、
選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、
最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに
最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データを補間画素の画素データとして決定し、選択した画素データが２つである場合にはそれらの平均値を補間画素の画素データとして決定するステップ、
を備えていることを特徴とする請求項１乃至８に記載の画像補間方法。
【請求項１２】
第６ステップは、第５ステップで算出された線形相関値が第３ステップで求められた相関最小値以下である場合には、第５ステップで算出された線形補間値を補間画素の最終的な画素データとして選択し、第５ステップで算出された線形相関値が第３ステップで求められた相関最小値より大きい場合には、第４ステップで算出された暫定画素データを補間画素の最終的な画素データとして選択するものであることを特徴とする請求項１乃至１１に記載の画像補間方法。
【請求項１３】
第６ステップは、第５ステップで算出された線形相関値と第３ステップで求められた相関最小値とに応じて、第５ステップで算出された線形補間値と第４ステップで算出された暫定画素データとを加重加算することによって補間画素の最終的な画素データを算出するものであることを特徴とする請求項１乃至１１に記載の画像補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を補間する画像補間方法に関する。
【０００２】
【従来の技術】
従来より、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、画像の解像度を高める場合などにおいて、隣接した原画素の画素データ（ディスプレイ上の輝度を表すデータ量に相当する）を用いて、画像を補間する様々な方法が提案されている。
【０００３】
画像補間方法の代表的なものに、単純補間方法と線形補間方法とがある。単純補間方法とは、補間する画素の上下（又は左右）に隣接した画素のいずれかの画素データを、補間する画素に画素データとして与える方法である。線形補間方法とは、補間する画素の上下（又は左右）に隣接した画素の画素データを平均した値を、補間する画素に画素データとして与える方法である。
【０００４】
【発明が解決しようとする課題】
しかしながら、単純補間方法では、補間する画素に隣接した画素の画素データがそのまま与えられるため、ディスプレイ上などに再生された画像に斜め方向のエッジ部分があるとき、そのエッジ部分にガタツキが生じるという問題がある。又、線形補間方法では、補間する画素に上下（又は左右）に隣接した画素の画素データの平均値が与えられるため、補間する画素の近傍がエッジ部分であり、補間する画素の上下（又は左右）に隣接した画素の画素データの差が大きい場合には、補間された画素が中間値となり、エッジ部分にボケが生じるという問題がある。
【０００５】
そこで、本出願人は、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができる画像補間方法を既に開発している。
【０００６】
本出願人が既に開発した画像補間方法（以下、従来手法という）について説明する。
【０００７】
２次元の画像は、水平方向と垂直方向の２次元的な広がりを持っている。しかしながら、説明を簡略化するために、垂直方向の一次元の補間方法について説明する。
【０００８】
図１は、原画素と補間される補間画素との関係を示している。
【０００９】
図１において、ライン（ｎ−１），ｎ，（ｎ＋１），（ｎ＋２）が原画像の水平ラインであり、ライン（ｉ−１），ｉ，（ｉ＋１）が補間される水平ラインである。ここでは、ラインｉ上の画素（以下、補間画素という）Ｘを補間する場合について説明する。
【００１０】
以下の説明においては、原画素Ｄ０１〜Ｄ３５および補間画素Ｘの画素データを、それぞれｄ０１〜ｄ３５およびｘで表す。また、この例では、画素データが８ビットであり、黒データは”０”であり、白データは”２５５”であるとする。
【００１１】
図２は、従来手法によって、補間画素Ｘの画素データｘを求めるための手順を示している。
【００１２】
まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、エッジ成分Ｅを算出する（ステップ１）。つまり、補間画素Ｘの真上にある２つの原画素Ｄ０３，Ｄ１３と、補間画素Ｘの真下にある原画素Ｄ２３，Ｄ３３の画素データを用いて、エッジ成分Ｅを、次式（１）から求める。
【００１３】
Ｅ＝−ｄ０３＋ｄ１３＋ｄ２３−ｄ３３    …（１）
【００１４】
補間画素Ｘが原画像の黒エッジ付近に存在している場合には、エッジ成分Ｅは負の比較的大きな値をとり、補間画素Ｘが原画像の白エッジ付近に存在している場合には、エッジ成分Ｅは正の比較的大きな値をとる。
【００１５】
次に、エッジ成分Ｅに基づいて、補間画素Ｘの画素データｘの設定可能範囲Ｓを決定する（ステップ２）。
【００１６】
図３に基づいて、設定可能範囲Ｓの決定方法について説明する。図３において、ｄmax は原画素Ｄ１３，Ｄ２３の画素データｄ１３，ｄ２３のうち値の大きい方を表し、ｄmin は画素データｄ１３，ｄ２３のうち値の小さい方を表している。また、ｄｃは、ｄmax とｄmin との平均値（ｄmax ＋ｄmin ）／２を表している。
【００１７】
（１）Ｅ≧０のときの画素データｘの設定可能範囲Ｓ
Ｅ≧０のときには、図３（ａ）に示すように、設定可能範囲Ｓを、ｄmin ×α＋ｄｃ×（１−α）≦Ｓ≦ｄmax ×α＋ｄｃ×（１−α）＋Ｅ×γとする。ただし、α及びγは外部より制御可能な変数である。
【００１８】
つまり、エッジ成分Ｅが０以上のときには、画素データｘの設定可能範囲Ｓは、ｄｃを中心とした範囲〔ｄmin ×α＋ｄｃ×（１−α）≦ｘ≦ｄmax ×α＋ｄｃ×（１−α）〕よりも、γ・Ｅの値分だけ上側に広がった範囲となる。
【００１９】
この場合は、補間画素Ｘが原画像の白エッジ付近に存在していると想定し、設定可能範囲Ｓをｄmin 〜ｄmax の範囲のうち、ｄmax 側に近い範囲に設定している。
【００２０】
（２）Ｅ＜０のときのときの画素データｘの設定可能範囲Ｓ
Ｅ＜０のときには、図３（ｂ）に示すように、設定可能範囲Ｓを、ｄmin ×α＋ｄｃ×（１−α）＋Ｅ×γ≦Ｓ≦ｄmax ×α＋ｄｃ×（１−α）とする。
【００２１】
つまり、エッジ成分Ｅが０より小さいときには、画素データｘの設定可能範囲Ｓは、ｄｃを中心とした範囲〔ｄmin ×α＋ｄｃ×（１−α）≦ｘ≦ｄmax ×α＋ｄｃ×（１−α）〕よりも、γ・Ｅの値分だけ下側に広がった範囲となる。
【００２２】
この場合は、補間画素Ｘが原画像の黒エッジ付近に存在していると想定し、設定可能範囲Ｓをｄmin 〜ｄmax の範囲のうち、ｄmin 側に近い範囲に設定している。
【００２３】
次に、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲Ｓ内から求める（ステップ３）。
【００２４】
補間画素Ｘの画素データの候補を求める際には、対向画素Ｄ１２，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌ１と、対向画素Ｄ１４，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒ１とが使用されるので、まず、これらの相関値Ｌ１，Ｒ１の算出方法について説明する。
【００２５】
対向画素Ｄ１２，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌ１は、次式（２）で表され、対向画素Ｄ１４，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒ１は、次式（３）によって表される。
【００２６】
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１×Ｈｌ−β２×Ｖｌ  …（２）
【００２７】
Ｒ＝｜ｄ１４−ｘ｜＋｜ｄ２２−ｘ｜＋β１×Ｈｒ−β２×Ｖｒ  …（３）
【００２８】
上記式（２），（３）において、β１，β２は、外部から制御可能な変数である。上記式（２）において、Ｈｌは水平相関強度であり、次式（４）で表される。また、Ｖｌは垂直相関強度であり、次式（５）で表される。
【００２９】
Hl＝MAX(｜d11-d12 ｜＋｜d12-d13 ｜, ｜d23-d24 ｜＋｜d24-d25 ｜）…(4)
【００３０】
Vl＝MIN(｜d02-d12 ｜＋｜d12-d22 ｜, ｜d14-d24 ｜＋｜d24-d34 ｜）…(5)
【００３１】
ＭＡＸ（ａ，ｂ）は、ａおよびｂのうちの大きい方の値を選択することを示す記号である。ＭＩＮ（ａ，ｂ）は、ａおよびｂのうちの小さい方の値を選択することを示す記号である。
【００３２】
Ｈｌは、画素Ｄ１２に対する水平方向の一次微分値（｜d11-d12 ｜＋｜d12-d13 ｜）と、画素Ｄ２４に対する水平方向の一次微分値（｜d23-d24 ｜＋｜d24-d25 ｜）のうち、大きい方を表している。また、Ｖｌは、画素Ｄ１２に対する垂直方向の一次微分値( ｜d02-d12 ｜＋｜d12-d22 ｜) と画素Ｄ２４に対する垂直方向の一次微分値 (｜d14-d24 ｜＋｜d24-d34 ｜）のうち、小さい方を表している。
【００３３】
上記式（３）において、Ｈｒは水平相関強度であり、次式（６）で表される。また、Ｖｒは垂直相関強度であり次式（７）で表される。
【００３４】
Hr＝MAX(｜d13-d14 ｜＋｜d14-d15 ｜, ｜d21-d22 ｜＋｜d22-d23 ｜）…(6)
【００３５】
Vr＝MIN(｜d04-d14 ｜＋｜d14-d24 ｜, ｜d12-d22 ｜＋｜d22-d32 ｜）…(7)
【００３６】
Ｈｒは、画素Ｄ１４に対する水平方向の一次微分値( ｜d13-d14 ｜＋｜d14-d15 ｜) と、画素Ｄ２２に対する水平方向の一次微分値( ｜d21-d22 ｜＋｜d22-d23 ｜）のうち、大きい方を表している。また、Ｖｒは、画素Ｄ２２に対する垂直方向の一次微分値( ｜d12-d22 ｜＋｜d22-d32 ｜) と画素Ｄ１４に対する垂直方向の一次微分値( ｜d04-d14 ｜＋｜d14-d24 ｜）のうち、小さい方を表している。
【００３７】
補間画素Ｘの画素データの候補を求める方法には、２つの方法があるので、それらの方法について説明する。
【００３８】
（１）第１方法の説明
補間画素Ｘを斜め方向（左上斜め方向）に挟む２つの対向画素Ｄ１２，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌを表す上記式（２）に、設定可能範囲Ｓ内の全ての画素データｘをそれぞれ代入していき、最小となる相関値Ｌmin と、最小相関値Ｌmin を与える画素データｘｌとを求める。
【００３９】
同様に、補間画素Ｘを斜め方向（右上斜め方向）に挟む２つの対向画素Ｄ１４，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒを表す上記式（３）に、設定可能範囲Ｓ内の全ての画素データｘをそれぞれ代入していき、最小となる相関値Ｒmin と、最小相関値Ｒmin を与える画素データｘｒとを求める。
【００４０】
このようにして、求められた画素データｘｌ，ｘｒが、補間画素Ｘの画素データ候補となる。ただし、このような方法では、最小相関値Ｌmin を与える画素データｘｌとして、複数の画素データが該当する場合がある。同様に、最小相関値Ｒmin を与える画素データｘｒとして、複数の画素データが該当する場合がある。
【００４１】
最小相関値Ｌmin を与える画素データｘｌとして、複数の画素データが該当する場合には、それらの平均値を最小相関値Ｌmin を与える画素データｘｌとして決定するようにすればよい。同様に、最小相関値Ｒmin を与える画素データｘｒとして、複数の画素データが該当する場合には、それらの平均値を最小相関値Ｒmin を与える画素データｘｒとして決定するようにすればよい。
【００４２】
（２）第２方法の説明
【００４３】
図４は、相関値Ｌと画素データｘとの関係を表している。図４において、ｘmin は、画素データｄ１２，ｄ２４のうち小さい方の画素データを示し、ｘmax は、画素データｄ１２，ｄ２４のうち大きい方の画素データを示している。また、ｘｄ＝ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌである。
【００４４】
ｘｄ＝ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌとすると、上記式（２）の相関値Ｌは、次式（８）のように変形することができる。相関値Ｒについても、同様に変形することができる。
【００４５】
Ｌ＝ｘｄ＋２（ｘ−ｘmin ）    （ｘ＞ｘmax ）
Ｌ＝ｘｄ                      （ｘmin ≦ｘ≦ｘmax ）
Ｌ＝ｘｄ＋２（ｘmin −ｘ）    （ｘ＜ｘmin ）              …（８）
【００４６】
以下、最小相関値Ｌmin ，Ｒmin 及び画素データｘｌ，ｘｒの求め方（第２方法）について説明する。ここでは、最小相関値Ｌmin 及び画素データｘｌの求め方について説明する。
【００４７】
図５の（ａ）〜（ｆ）は、相関値Ｌと画素データｘとの関係を示すグラフと画素データｘの設定可能範囲を示している。
【００４８】
図５において、ｘａは設定可能範囲内の画素データｘの最小値を示し、ｘｂは設定可能範囲内の画素データｘの最大値を示している。
【００４９】
▲１▼  ｘｂ≦ｘmin のとき
図５（ａ）のように、画素データｘの設定可能範囲がｘmin 以下のときには、画素データｘｂにおいて相関値Ｌが最小となるので、最小相関値Ｌmin はｘｄ＋２（ｘmin −ｘｂ）となる。又、このときの画素データｘｌはｘｂである。
【００５０】
▲２▼  ｘmax ≦ｘａのとき
図５（ｂ）のように、画素データｘの設定可能範囲がｘmax 以上のときには、画素データｘａにおいて相関値Ｌが最小となるので、最小相関値Ｌmin はｘｄ＋２（ｘａ−ｘmax ）となる。又、このときの画素データｘｌはｘａである。
【００５１】
▲３▼  ｘmin ≦ｘａ且つｘｂ≦ｘmax のとき
図５（ｃ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の間にあるときには、設定可能範囲の任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなるので最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、設定可能範囲の中央の値（ｘａ＋ｘｂ）／２に決定される。
【００５２】
▲４▼  ｘａ＜ｘmin 且つｘmax ＜ｘｂのとき
図５（ｄ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の範囲よりも広い範囲となるときには、画素データｘmin 〜ｘmax の任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなる。したがって、最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、画素データｘmin ，ｘmax の平均値（ｘmin ＋ｘmax ）／２に決定される。
【００５３】
▲５▼  ｘａ＜ｘmin 且つｘmin ＜ｘｂ≦ｘmax のとき
図５（ｅ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の範囲よりも左側にずれているときには、画素データｘmin 〜ｘｂの任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなる。したがって、最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、画素データｘmin ，ｘｂの平均値（ｘmin ＋ｘｂ）／２に決定される。
【００５４】
▲６▼  ｘmin ≦ｘａ＜ｘmax 且つｘmax ≦ｘｂのとき
図５（ｆ）のように、画素データｘの設定可能範囲が画素データｘmin 〜ｘmax の範囲よりも右側にずれているときには、画素データｘａ〜ｘmax の任意の画素データｘにおいて相関値Ｌが最小値ｘｄとなる。したがって、最小相関値Ｌmin はｘｄとなる。この場合には、画素データｘｌは、画素データｘａ，ｘmax の平均値（ｘａ＋ｘmax ）／２に決定される。
【００５５】
このようにして、最小相関値Ｌmin 及び画素データｘｌが求められる。尚、最小相関値Ｒmin 及び画素データｘｒについても、最小相関値Ｌmin 及び画素データｘｌと同様にして求められる。
【００５６】
ステップ３によって、最小相関値Ｌmin ，Ｒmin およびそれを与える画素データｘｌ，ｘｒが求められると、両最小相関値Ｌmin ，Ｒmin のうち小さい方の相関値を与える画素データを抽出する（ステップ４）。
【００５７】
両最小相関値Ｌmin ，Ｒmin が異なる場合には、１つの画素データが抽出され、両最小相関値Ｌmin ，Ｒmin が同じ場合には、２つの画素データが抽出される。
【００５８】
ステップ４において１つの画素データｘｌまたはｘｒが抽出された場合には（ステップ５でＹＥＳ）、抽出された画素データが補間画素Ｘの画素データｘとして決定される（ステップ６）。ステップ４において、２つの（複数の）画素データｘｌ，ｘｒが選択された場合には（ステップ５でＮＯ）、画素データｘｌ，ｘｒの平均値が補間画素Ｘの画素データｘに決定される（ステップ７）。
【００５９】
詳しくは次の通りである。
【００６０】
▲１▼  ｉｆ  Ｌmin ＜Ｒmin ，ｔｈｅｎ  ｘ＝ｘｌ
▲２▼  ｉｆ  Ｌmin ＞Ｒmin ，ｔｈｅｎ  ｘ＝ｘｒ
▲３▼  ｉｆ  Ｌmin ＝Ｒmin ，ｔｈｅｎ  ｘ＝（ｘｌ＋ｘｒ）／２
【００６１】
なお、上記ステップ３では、補間画素Ｘを斜め方向に挟む対向画素の組として、２組が選択されているが、２組より多い組を選択してもよい。たとえば、図６に示すように、Ｄ１０とＤ２６、Ｄ１１とＤ２５、Ｄ１２とＤ２４、Ｄ１４とＤ２２、Ｄ１５とＤ２１、Ｄ１６とＤ２０というように、６組の対向画素を選択してもよい。この場合には、それぞれの対向画素の組毎に、相関値の最小値を与える画素データがステップ３で求められる。つまり、６つの画素データ候補が求められる。
【００６２】
そして、６組の対向画素の組に対する相関最小値のうち、最小のものが３以上ある場合には、ステップ４では、これらの６つの画素データ候補のうちから、３以上の画素データが抽出される。
【００６３】
ステップ４で３以上の画素データが選択された場合に、補間画素Ｘの画素データｘを決定する方法としては、次の３つの方法がある。
【００６４】
第１は、ステップ４で選択された３以上の画素データの平均値を算出し、その算出結果を補間画素Ｘの画素データｘとして決定する方法である。第２は、ステップ４で選択された３以上の画素データのうちの最大値と最小値とを抽出してそれらの平均値を算出し、その算出結果を補間画素Ｘの画素データｘとして決定する方法である。
【００６５】
第３は、ステップ４で選択された３以上の画素データのうち、補間画素Ｘに最も近接した対向画素から得られる画素データを選択し、選択した画素データを補間画素Ｘの画素データｘとして決定する方法である。ただし、補間画素Ｘに最も近接した対向画素から得られる画素データが２つ存在する場合には、それら平均を値を算出し、その算出結果を補間画素Ｘの画素データｘとして決定する。
【００６６】
なお、補間画素Ｘを斜め方向に挟む対向画素の組として、図６に示すように、６組の対向画素を選択した場合、例えば、相関値Ｌ２，Ｒ２は、次式（９）、（１０）で表される。
【００６７】
Ｌ２＝｜ｄ１１−ｘ｜＋｜ｄ２５−ｘ｜＋β１×Ｈｌ2 −β２×Ｖｌ2       …（９）
【００６８】
Ｒ２＝｜ｄ１５−ｘ｜＋｜ｄ２１−ｘ｜＋β１×Ｈｒ2 −β２×Ｖｒ2       …（１０）
【００６９】
上記式（９）中のＨｌ2 、Ｖｌ2 は、次式（１１）、（１２）で表される。
【００７０】
Hl2 ＝MAX(｜d10-d11 ｜＋｜d11 −ｄ12｜, ｜d24-d25 ｜＋｜d25-ｄ26｜) …(11)
【００７１】
Vl2 ＝MIN(｜d01-d11 ｜＋｜d11 −ｄ21｜, ｜d15-d25 ｜＋｜d25-ｄ35｜) …(12)
【００７２】
上記式（１０）中のＨｒ2 、Ｖｒ2 は、次式（１３）、（１４）で表される。
【００７３】
Hr2 ＝MAX(｜d14-d15 ｜＋｜d15 −ｄ16｜, ｜d20-d21 ｜＋｜d21-ｄ22｜) …(13)
【００７４】
Vr2 ＝MIN(｜d05-d15 ｜＋｜d15 −ｄ25｜, ｜d11-d21 ｜＋｜d21-ｄ31｜) …(14)
【００７５】
この発明は、従来手法を改良したものであって、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができる画像補間方法を提供することを目的とする。
【００７６】
【課題を解決するための手段】
請求項１に記載の発明は、第１の原画素と第１の原画素と隣接する第２の原画素との中間位置に画素を補間する画像補間方法において、
補間画素が原画像データのエッジ位置付近に存在するかを判定するための第１エッジ成分Ｅと第２エッジ成分Ｅｓとを算出する第１ステップ、
第１エッジ成分Ｅおよび第２エッジ成分Ｅｓと、第１および第２の原画素の画素データとに基づいて、補間画素の画素データの設定可能範囲を求める第２ステップ、
補間画素を斜め方向に挟む対向画素の組を複数組選択し、各組毎に、補間画素の画素データの設定可能範囲内において、補間画素の画素データと各対向画素との差の絶対値の和と各対向画素の周辺の原画素の画素データに基づいて算出される補正値とで表される相関値が最小となる補間画素の画素データと相関最小値とを求める第３ステップ、
上記各組毎に求められた、相関値が最小となる補間画素の画素データと相関最小値とに基づいて、補間画素の暫定画素データを求める第４ステップ、ならびに  第１の原画素と第２の原画素との線形相関値および線形補間値を算出する第５ステップ、ならびに
第３ステップで求められた相関最小値と、第５ステップで算出された線形相関値と、第４ステップで算出された暫定画素データと、第５ステップで算出された線形補間値とに基づいて、補間画素の最終的な画素データを算出する第６ステップを備えており、
第１の原画素に隣接しかつ第２の原画素と反対側にある原画素を第３の原画素とし、第２の原画素に隣接しかつ第１の原画素と反対側にある原画素を第４の原画素として、第１の原画素の画素データをｄ１、第２の原画素の画素データをｄ２、第３の原画素の画素データをｄ３、第４の原画素の画素データをｄ４とすると、第１ステップでは、演算式Ｅ＝−ｄ３＋ｄ１＋ｄ２−ｄ４に基づいて第１エッジ成分Ｅが算出されるとともに、演算式Ｅｓ＝｜ｄ３＋ｄ１−ｄ２−ｄ４｜に基づいて第２エッジ成分Ｅｓが算出されることを特徴とする。
【００７７】
請求項２に記載の発明は、請求項１に記載の発明において、第１ステップで求められた第１エッジ成分をＥとし、第２エッジ成分をＥｓとし、第１の原画素の画素データと第２の原画素の画素データとの平均をｄｃとし、γｓ，γを予め設定された係数とすると、第２ステップでは、次式（１５）に基づいて、補間画素の画素データの設定可能範囲Ｓが求められることを特徴とする。
【００７８】
ｉｆ  Ｅ１≧０，ｔｈｅｎ  ｄｃ−Ｅｓ×γｓ≦Ｓ≦ｄｃ＋Ｅｓ×γｓ＋Ｅ×γ，
ｉｆ  Ｅ１＜０，ｔｈｅｎ  ｄｃ−Ｅｓ×γｓ＋Ｅ×γ≦Ｓ≦ｄｃ＋Ｅｓ×γｓ．
…（１５）
【００７９】
請求項３に記載の発明は、請求項１に記載の発明において、第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度のうちの大きい方の値であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度のうちの小さい方の値であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、次式（１６）で表され、上側の対向画素Ｄ１２側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素Ｄ２４側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする。
【００８０】
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌ…（１６）
【００８１】
請求項４に記載の発明は、請求項１に記載の発明において、第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度のうちの大きい方の値であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度のうちの小さい方の値であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、任意の注目原画素の真上の原画素に対する水平方向の一次微分値と、当該注目原画素に対する水平方向の一次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の一次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素Ｄ１２が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度であり、
上側の対向画素Ｄ１２が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素Ｄ１２との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素Ｄ２４との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする。
【００８２】
請求項５に記載の発明は、請求項１に記載の発明において、第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度のうちの大きい方の値であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度のうちの小さい方の値であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素Ｄ１２が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度であり、
上側の対向画素Ｄ１２が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素Ｄ１２との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素Ｄ２４との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする。
【００８３】
請求項６に記載の発明は、請求項１に記載の発明において、第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度との和であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度との和であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、次式（１７）で表されることを特徴とする。
【００８４】
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌ    …（１７）
【００８５】
請求項７に記載の発明は、請求項１に記載の発明において、第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度との和であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度との和であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
上側の対向画素Ｄ１２側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素Ｄ２４側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値であることを特徴とする。
【００８６】
請求項８に記載の発明は、請求項１に記載の発明において、第１の原画素と第２の原画素とを結ぶ方向を上下方向と定義し、上下方向と直角な方向を左右方向と定義し、第１の原画素が第２の原画素の真上にあるとし、補間画素を斜め方向に挟む１組の対向画素のうち上側の対向画素をＤ１２、下側の対向画素をＤ２４とし、各原画素Ｄ１２，Ｄ２４の画素データをｄ１２，ｄ２４とし、β１およびβ２を所定の係数とし、Ｈｌを一方の対向画素Ｄ１２側の水平相関強度と他方の対向画素Ｄ２４側の水平相関強度との和であるとし、Ｖｌを一方の対向画素Ｄ１２側の垂直相関強度と他方の対向画素Ｄ２４側の垂直相関強度との和であるとし、第２ステップで求められた設定可能範囲Ｓの画素データをｘとすると、第３ステップで用いられる、その組に対する相関値Ｌの算出式は、Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１・Ｈｌ−β２・Ｖｌで表され、
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域の水平相関強度と定義すると、
上側の対向画素Ｄ１２が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度であり、下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度であり、
上側の対向画素Ｄ１２が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素Ｄ２４が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素Ｄ１２側の水平相関強度は、当該対向画素Ｄ１２を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素Ｄ１２との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であり、
下側の対向画素Ｄ２４側の水平相関強度は、当該対向画素Ｄ２４を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素Ｄ２４との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値であることを特徴とする。
【００８７】
請求項９に記載の発明は、請求項１乃至８に記載の発明において、第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データの平均値を補間画素の暫定画素データとして決定するステップを備えていることを特徴とする。
【００８８】
請求項１０に記載の発明は、請求項１乃至８に記載の発明において、第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうちから、最大値と最小値とを抽出し、抽出した最大値と最小値との平均値を補間画素の画素データとして決定するステップを備えていることを特徴とする。
【００８９】
請求項１１に記載の発明は、請求項１乃至８に記載の発明において、第４ステップは、第３ステップで各組毎に求められた相関最小値のうち最小の相関最小値を選択するステップ、選択した最小の相関最小値を与える補間画素の画素データを抽出するステップ、最小の相関最小値が１つである場合には、その最小の相関最小値を与える補間画素の画素データを、補間画素の暫定画素データとして決定するステップ、ならびに最小の相関最小値が複数ある場合には、それらの最小の相関最小値を与える補間画素の画素データのうち、補間画素に最も近接した対向画素から得られた画素データを選択し、選択した画素データが１つである場合にはその画素データを補間画素の画素データとして決定し、選択した画素データが２つである場合にはそれらの平均値を補間画素の画素データとして決定するステップを備えていることを特徴とする。
【００９０】
請求項１２に記載の発明は、請求項１乃至１１に記載の発明において、第６ステップは、第５ステップで算出された線形相関値が第３ステップで求められた相関最小値以下である場合には、第５ステップで算出された線形補間値を補間画素の最終的な画素データとして選択し、第５ステップで算出された線形相関値が第３ステップで求められた相関最小値より大きい場合には、第４ステップで算出された暫定画素データを補間画素の最終的な画素データとして選択するものであることを特徴とする。
【００９１】
請求項１３に記載の発明は、請求項１乃至１１に記載の発明において、第６ステップは、第５ステップで算出された線形相関値と第３ステップで求められた相関最小値とに応じて、第５ステップで算出された線形補間値と第４ステップで算出された暫定画素データとを加重加算することによって補間画素の最終的な画素データを算出するものであることを特徴とする。
【００９８】
【発明の実施の形態】
以下、図１、図５、図６、図７〜図１５を参照して、この発明の実施の形態について説明する。
【００９９】
〔１〕第１の実施の形態の説明
【０１００】
以下、この発明の第１の実施の形態による画像補間方法（以下、第１提案手法という）について説明する。
【０１０１】
〔１−１〕原画素と補間される補間画素との関係についての説明
【０１０２】
図１は、原画素と補間される補間画素との関係を示している。
【０１０３】
図１において、ライン（ｎ−１），ｎ，（ｎ＋１），（ｎ＋２）が原画像の水平ラインであり、ライン（ｉ−１），ｉ，（ｉ＋１）が補間される水平ラインである。ここでは、ラインｉ上の画素（以下、補間画素という）Ｘを補間する場合について説明する。
【０１０４】
以下の説明においては、原画素Ｄ０１〜Ｄ３５および補間画素Ｘの画素データを、それぞれｄ０１〜ｄ３５およびｘで表す。また、この例では、画素データが８ビットであり、黒データは”０”であり、白データは”２５５”であるとする。
【０１０５】
〔１−２〕補間画素Ｘの画素データｘを求めるための手順の説明
【０１０６】
図７は、第１提案手法によって、補間画素Ｘの画素データｘを求めるための手順を示している。
【０１０７】
〔１−２−１〕ステップ１１の説明
まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、第１エッジ成分Ｅおよび第２エッジ成分Ｅｓを算出する（ステップ１１）。つまり、補間画素Ｘの真上にある２つの原画素Ｄ０３，Ｄ１３と、補間画素Ｘの真下にある原画素Ｄ２３，Ｄ３３の画素データを用いて、第１エッジ成分Ｅを次式（１８）から求めるとともに第２エッジ成分Ｅｓを次式（１９）から求める。
【０１０８】
Ｅ＝−ｄ０３＋ｄ１３＋ｄ２３−ｄ３３        …（１８）
【０１０９】
Ｅｓ＝｜ｄ０３＋ｄ１３−ｄ２３−ｄ３３｜    …（１９）
【０１１０】
補間画素Ｘが原画像の黒エッジ付近に存在している場合には、第１エッジ成分Ｅは負の比較的大きな値をとり、補間画素Ｘが原画像の白エッジ付近に存在している場合には、第１エッジ成分Ｅは正の比較的大きな値をとる。また、補間画素Ｘが原画像の端エッジ付近に存在している場合には、第２エッジ成分Ｅｓは比較的大きな値をとり、補間画素Ｘが原画像の端エッジ付近に存在していない場合には、第２エッジ成分Ｅｓは比較的小さな値をとる。
【０１１１】
〔１−２−２〕ステップ１２の説明
次に、エッジ成分Ｅ，Ｅｓに基づいて、補間画素Ｘの画素データｘの設定可能範囲Ｓを決定する（ステップ１２）。
【０１１２】
図８に基づいて、設定可能範囲Ｓの決定方法について説明する。図８において、ｄmax は原画素Ｄ１３，Ｄ２３の画素データｄ１３，ｄ２３のうち値の大きい方を表し、ｄmin は画素データｄ１３，ｄ２３のうち値の小さい方を表している。また、ｄｃは、ｄmax とｄmin との平均値（ｄmax ＋ｄmin ）／２を表している。
【０１１３】
（１）Ｅ≧０のときの画素データｘの設定可能範囲Ｓ
Ｅ≧０のときには、図８（ａ）に示すように、設定可能範囲Ｓを、ｄｃ−（Ｅｓ×γｓ）≦Ｓ≦ｄｃ＋（Ｅｓ×γｓ）＋（Ｅ×γ）とする。ただし、γｓ，γは外部より制御可能な変数である。
【０１１４】
つまり、エッジ成分Ｅが０以上のときには、画素データｘの設定可能範囲Ｓは、ｄｃを中心とした範囲〔ｄｃ−（Ｅｓ×γｓ）≦ｘ≦ｄｃ＋（Ｅｓ×γｓ）〕よりも、γ・Ｅの値分だけ上側に広がった範囲となる。
【０１１５】
この場合は、補間画素Ｘが原画像の白エッジ付近に存在していると想定し、設定可能範囲Ｓをｄmin 〜ｄmax の範囲のうち、ｄmax 側に近い範囲に設定している。
【０１１６】
（２）Ｅ＜０のときのときの画素データｘの設定可能範囲Ｓ
Ｅ＜０のときには、図８（ｂ）に示すように、設定可能範囲Ｓを、ｄｃ−（Ｅｓ×γｓ）＋（Ｅ×γ）≦Ｓ≦ｄｃ＋（Ｅｓ×γｓ）とする。
【０１１７】
つまり、エッジ成分Ｅが０より小さいときには、画素データｘの設定可能範囲Ｓは、ｄｃを中心とした範囲〔ｄｃ−（Ｅｓ×γｓ）≦ｘ≦ｄｃ＋（Ｅｓ×γｓ）〕よりも、γ・Ｅの値分だけ下側に広がった範囲となる。
【０１１８】
この場合は、補間画素Ｘが原画像の黒エッジ付近に存在していると想定し、設定可能範囲Ｓをｄmin 〜ｄmax の範囲のうち、ｄmin 側に近い範囲に設定している。
【０１１９】
〔１−２−３〕ステップ１３の説明
次に、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲Ｓ内から求める（ステップ１３）。
【０１２０】
補間画素Ｘの画素データの候補を求める方法は、図２のステップ３とほぼ同様であるが、相関値Ｌ，Ｒの算出方法が図２のステップ３と異なっている。
【０１２１】
図１の対向画素Ｄ１２，Ｄ２４と補間画素Ｘとの画素データの相関値Ｌは、次式（２０）で表され、図１の対向画素Ｄ１４，Ｄ２２と補間画素Ｘとの画素データの相関値Ｒは、次式（２１）によって表される。
【０１２２】
Ｌ＝｜ｄ１２−ｘ｜＋｜ｄ２４−ｘ｜＋β１×Ｈｌ−β２×Ｖｌ  …（２０）
【０１２３】
Ｒ＝｜ｄ１４−ｘ｜＋｜ｄ２２−ｘ｜＋β１×Ｈｒ−β２×Ｖｒ  …（２１）
【０１２４】
上記式（２０），（２１）において、β１，β２は、外部から制御可能な変数である。上記式（２０），（２１）は、上記従来手法の式（２）、（３）と同じであるが、水平相関強度Ｈｌ，Ｈｒの算出方法が従来手法と異なっている。
【０１２５】
Ｈｌ，Ｈｒの算出方法の基本的な考え方について説明する。ＨｌおよびＨｒの算出方法の基本的な考え方は同様なので、ここでは、Ｈｌの算出方法の基本的な考え方について説明する。
【０１２６】
Ｈｌは、上側の対向画素（この例では図１のＤ１２）側の水平相関強度と下側の対向画素（この例では図１のＤ２４）側の水平相関強度のうちの大きい方の値であると定義される。
【０１２７】
任意の注目原画素の真上の原画素に対する水平方向の一次微分値と、当該注目原画素に対する水平方向の一次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の一次微分値との和を当該注目原画素を中心とする所定領域（３×３画素の領域）の水平相関強度と定義する。
【０１２８】
補正画素Ｘの真上の画素を第１の原画素とし、補正画素Ｘの真下の画素を第２の原画素とすると、上側の対向画素が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となり、下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となる。
【０１２９】
また、上側の対向画素が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。
【０１３０】
したがって、上記式（２０）における水平相関強度Ｈｌは、ＡＬ１を上側の対向画素Ｄ１２を中心とする所定領域の水平相関強度とし、ＢＬ１を下側の対向画素Ｄ２４を中心とする所定領域の水平相関強度とすると、次式（２２）で表される。
【０１３１】
0003717863.tif 000002
【０１３２】
つまり、上側の対向画素Ｄ１２側の水平相関強度は、上側の対向画素Ｄ１２を中心とする所定領域の水平相関強度ＡＬ１と等しくなり、画素Ｄ１２の真上の画素Ｄ０２に対する水平方向の一次微分値( ｜d03-d02 ｜＋｜d02-d01 ｜) と当該対向画素Ｄ１２に対する水平方向の一次微分値( ｜d13-d12 ｜＋｜d12-d11 ｜) の２倍の値と当該対向画素Ｄ１２の真下の画素Ｄ２２に対する水平方向の一次微分値( ｜d23-d22 ｜＋｜d22-d21 ｜) との和で表される。
【０１３３】
下側の対向画素Ｄ２４側の水平相関強度は、下側の対向画素Ｄ２４を中心とする所定領域の水平相関強度ＢＬ１と等しくなり、画素Ｄ２４の真上の画素Ｄ１４に対する水平方向の一次微分値( ｜d13-d14 ｜＋｜d14-d15 ｜) と画素Ｄ２４に対する水平方向の一次微分値( ｜d23-d24 ｜＋｜d24-d25 ｜) の２倍の値と画素Ｄ２４の真下の画素Ｄ３４に対する水平方向の一次微分値( ｜d33-d34 ｜＋｜d34-d35 ｜) との和で表される。
【０１３４】
また、垂直相関強度Ｖｌは、上側の対向画素側の垂直相関強度と下側の対向画素側の垂直相関強度のうちの小さい方の値であると定義される。上側の対向画素側の垂直相関強度は、当該対向画素に対する垂直方向の一次微分値であり、下側の対向画素側の垂直相関強度は当該対向画素に対する垂直方向の一次微分値である。したがって、垂直相関強度Ｖｌは、次式（２３）で表される。
【０１３５】
Vl＝MIN(｜d02-d12 ｜＋｜d12-d22 ｜, ｜d14-d24 ｜＋｜d24-d34 ｜）…(23)
【０１３６】
つまり、上側の対向画素Ｄ１２側の垂直相関強度は、画素Ｄ１２に対する垂直方向の一次微分値( ｜d02-d12 ｜＋｜d12-d22 ｜）として表され、下側の対向画素Ｄ２４側の垂直相関強度は画素Ｄ２４に対する垂直方向の一次微分値（｜d14-d24 ｜＋｜d24-d34 ｜）として表される。
【０１３７】
なお、上記上側の対向画素側の垂直相関強度を、当該対向画素に対する垂直方向の二次微分値とし、下側の対向画素側の垂直相関強度を当該対向画素に対する垂直方向の二次微分値としてもよい。この場合には、垂直相関強度Ｖｌは、次式（２４）で表される。
【０１３８】
Vl＝MIN(｜-d02+2*d12-d22｜, ｜-d14+2*d24-d34｜）  …(24)
【０１３９】
上記式（２１）における水平相関強度Ｈｒは、ＡＲ１を上側の対向画素Ｄ１４を中心とする所定領域の水平相関強度とし、ＢＲ１を下側の対向画素Ｄ２２を中心とする所定領域の水平相関強度とすると、次式（２５）で表される。また、垂直相関強度Ｖｒは次式（２６）で表される。
【０１４０】
0003717863.tif 000003
【０１４１】
Vr＝MIN(｜d04-d14 ｜＋｜d14-d24 ｜, ｜d12-d22 ｜＋｜d22-d32 ｜）…(26)
【０１４２】
なお、垂直相関強度Ｖｒを、次式（２７）によって算出するようにしてもよい。
【０１４３】
Vr＝MIN(｜-d04+2*d14-d24｜, ｜-d12+2*d22-d32｜）    …(27)
【０１４４】
図９は、相関値Ｌと画素データｘとの関係を表している。また、図９において、ｘmin は、画素データｄ１２，ｄ２４のうち小さい方の画素データを示し、ｘmax は、画素データｄ１２，ｄ２４のうち大きい方の画素データを示している。また、ｘｄ＝ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌである。
【０１４５】
ｘｄ＝ｘmax −ｘmin ＋β１×Ｈｌ−β２×Ｖｌとすると、上記式（２０）の相関値Ｌは、次式（２８）のように変形することができる。上記式（２１）の相関値Ｒについても、同様に変形することができる。
【０１４６】
Ｌ＝ｘｄ＋２（ｘ−ｘmin ）    （ｘ＞ｘmax ）
Ｌ＝ｘｄ                      （ｘmin ≦ｘ≦ｘmax ）
Ｌ＝ｘｄ＋２（ｘmin −ｘ）    （ｘ＜ｘmin ）              …（２８）
【０１４７】
最小相関値Ｌmin ，Ｒmin 及び画素データｘｌ，ｘｒは、図２のステップ３の第２方法で説明した方法、つまり図５を用いて説明した方法と同様な方法で求めることができる。
【０１４８】
〔１−２−４〕ステップ１４〜１７の説明
ステップ１３によって、最小相関値Ｌmin ，Ｒmin およびそれを与える画素データｘｌ，ｘｒが求められると、両最小相関値Ｌmin ，Ｒmin のうち小さい方の相関値（斜め方向の最小相関値）Ｃｍｉｎを与える画素データを抽出する（ステップ１４）。
【０１４９】
両最小相関値Ｌmin ，Ｒmin が異なる場合には、１つの画素データが抽出され、両最小相関値Ｌmin ，Ｒmin が同じ場合には、２つの画素データが抽出される。
【０１５０】
ステップ１４において１つの画素データｘｌまたはｘｒが抽出された場合には（ステップ１５でＹＥＳ）、抽出された画素データが補間画素Ｘの暫定画素データＤｐとして決定される（ステップ１６）。そして、ステップ１９に進む。ステップ１４において、２つの（複数の）画素データｘｌ，ｘｒが選択された場合には（ステップ１５でＮＯ）、画素データｘｌ，ｘｒの平均値が補間画素Ｘの暫定画素データＤｐに決定される（ステップ１７）。そして、ステップ１９に進む。
【０１５１】
詳しくは次の通りである。
【０１５２】
▲１▼  ｉｆ  Ｌmin ＜Ｒmin ，ｔｈｅｎ  Ｄｐ＝ｘｌ
▲２▼  ｉｆ  Ｌmin ＞Ｒmin ，ｔｈｅｎ  Ｄｐ＝ｘｒ
▲３▼  ｉｆ  Ｌmin ＝Ｒmin ，ｔｈｅｎ  Ｄｐ＝（ｘｌ＋ｘｒ）／２
【０１５３】
〔１−２−５〕ステップ１８の説明
一方、ステップ１８では、補間画素Ｘの上下の画素Ｄ１３，Ｄ２３の画素値ｄ１３，ｄ２３を用いた線形相関値Ｃｌｉｎ（  Ｃｌｉｎ＝｜ｄ１３−ｄ２３｜）と、線形補間値Ａｖｇ（  Ａｖｇ＝（ｄ１３＋ｄ２３）／２）とが算出される。
【０１５４】
〔１−２−６〕ステップ１９の説明
ステップ１９では、ステップ１６または１７によって得られた補間画素Ｘの暫定画素データＤｐおよび斜め方向相関最小値Ｃｍｉｎと、ステップ１８によって得られた補間画素Ｘに対する線形補間値Ａｖｇおよび線形相関値Ｃｌｉｎとに基づいて、補間画素Ｘの最終的な画素データｘが算出される。
【０１５５】
つまり、線形相関値Ｃｌｉｎが斜め方向相関最小値Ｃｍｉｎ以下である場合には、線形補間値Ａｖｇが補間画素Ｘの最終的な画素データｘとされる。線形相関値Ｃｌｉｎが斜め方向相関最小値Ｃｍｉｎより大きい場合には、暫定画素データＤｐが補間画素Ｘの最終的な画素データｘとされる。
【０１５６】
また、最終的な画素データｘを次式（２９）に基づいて算出するようにしてもよい。
【０１５７】
0003717863.tif 000004
【０１５８】
Ｔｈは画素データｄが８ビットの場合、例えば、２５５に設定される。
【０１５９】
〔１−３〕斜め方向相関の種類を多くした場合の説明
なお、上記ステップ１３では、補間画素Ｘを斜め方向に挟む対向画素の組として、２組が選択されているが、２組より多い組を選択してもよい。たとえば、図６に示すように、Ｄ１２とＤ２８、Ｄ１３とＤ２７、Ｄ１４とＤ２６、Ｄ１６とＤ２４、Ｄ１７とＤ２３、Ｄ１８とＤ２２というように、６組の対向画素を選択してもよい。この場合には、それぞれの対向画素の組毎に、相関値の最小値を与える画素データがステップ１３で求められる。つまり、６つの画素データ候補が求められる。
【０１６０】
そして、６組の対向画素の組に対する相関最小値のうち、最小のものが３以上ある場合には、ステップ１４では、これらの６つの画素データ候補のうちから、３以上の画素データが抽出される。
【０１６１】
ステップ１４で３以上の画素データが選択された場合に、補間画素Ｘの暫定画素データＤｐを決定する方法としては、従来手法で説明したように３つの方法がある。
【０１６２】
なお、補間画素Ｘを斜め方向に挟む対向画素の組として、図６に示すように、６組の対向画素を選択した場合、例えば、相関値Ｌ２，Ｒ２は、次式（３０）、（３１）で表される。
【０１６３】
Ｌ２＝｜ｄ１１−ｘ｜＋｜ｄ２５−ｘ｜＋β１×Ｈｌ2 −β２×Ｖｌ2       …（３０）
【０１６４】
Ｒ２＝｜ｄ１５−ｘ｜＋｜ｄ２１−ｘ｜＋β１×Ｈｒ2 −β２×Ｖｒ2       …（３１）
【０１６５】
ＡＬ１を画素Ｄ１２を中心とする所定領域の水平相関強度とし、ＡＬ２を画素Ｄ１１を中心とする所定領域の水平相関強度とし、ＢＬ１を画素Ｄ２４を中心とする所定領域の水平相関強度とし、ＢＬ２を画素２５を中心とする所定領域の水平相関強度とすると、上記式（３０）中のＨｌ2 は上述した算出方法の基本的な考え方にしたがって、次式（３２）で表される。なお、Ｖｌ2 は、一次微分値を用いた場合には、次式（３３）で表される。
【０１６６】
0003717863.tif 000005
【０１６７】
V12 ＝MIN(｜d01-d11 ｜＋｜d11 −ｄ21｜, ｜d15-d25 ｜＋｜d25-ｄ35｜) …(33)
【０１６８】
上記式（３１）中のＨｒ2 は、ＡＲ１を画素Ｄ１４を中心とする所定領域の水平相関強度とし、ＡＲ２を画素Ｄ１５を中心とする所定領域の水平相関強度とし、ＢＲ１を画素Ｄ２２を中心とする所定領域の水平相関強度とし、ＢＲ２を画素２１を中心とする所定領域の水平相関強度とすると、次式（３４）で表される。また、Ｖｒ2 は、一次微分値を用いた場合には、次式（３５）で表される。
【０１６９】
0003717863.tif 000006
【０１７０】
Vr2 ＝MIN(｜d05-d15 ｜＋｜d15 −ｄ25｜, ｜d11-d21 ｜＋｜d21-ｄ31｜) …(35)
【０１７１】
〔１−４〕第１提案手法を用いた画像補間装置の説明
【０１７２】
図１０は、画像補間装置の構成を示している。
【０１７３】
ここでは、斜め方向の対向画素の組数を４であり、図６のＬ１，Ｌ２，Ｒ１，Ｒ２の斜め方向相関値が算出される場合について説明する。
【０１７４】
メモリ部１は、入力端子ＩＮを介して入力される原画素の画素データを記憶する。補間相関値演算部２は、メモリ部１に記憶されている原画素の画素データを用いて、図７のステップ１１〜１３の処理を行うことによって、４組の対向画素から得られる４つの最小相関値Ｌ１min ，Ｌ２min ，Ｒ１min ，Ｒ２min と、この４つの最小相関値をそれぞれ与える補間画素Ｘの画素データｘ１ｌ，ｘ２ｌ，ｘ１ｒ，ｘ２ｒとを算出する。
【０１７５】
最小値抽出部３および画素データ選択部４は、図７のステップ１４の処理を行うものである。最小値抽出部３は、補間相関値演算部２によって算出された４つの最小相関値Ｌ１min ，Ｌ２min ，Ｒ１min ，Ｒ２min のうち最小となる最小相関値を識別する。この最小値抽出部３は、相関値Ｌ１，Ｌ２，Ｒ１，Ｒ２の最小値Ｌ１min ，Ｌ２min ，Ｒ１min ，Ｒ２min にそれぞれ対応した制御信号Ｆｌａｇ１〜４を画素データ選択部４に出力する。相関値Ｌ１，Ｌ２、Ｒ１，Ｒ２の最小値Ｌ１min ，Ｌ２min 、Ｒ１min ，Ｒ２min のうち最も小さい値に応じた制御信号をＨｉｇｈとし、それ以外の値に応じた制御信号をＬｏｗとする。最小値抽出部３は、最小相関値Ｃｍｉｎを相関値比較部７に与える。
【０１７６】
画素データ選択部４は、最小値抽出部３から与えられる制御信号Ｆｌａｇ１〜４に基づいて、補間相関値演算部２から与えられる４つの画素データｘ１ｌ，ｘ２ｌ，ｘ１ｒ，ｘ２ｒから補間画素Ｘの画素データの候補となる画素データを選択する。具体的には、画素データ選択部４は、最小値抽出部３から与えられた制御信号のうちＨｉｇｈとなる制御信号に対応した画素データを暫定補間画素データ抽出部５に出力する。
【０１７７】
暫定補間画素データ抽出部５は、画素データ選択部４で選択された画素データの数に応じて、図７のステップ１６または１７の処理を行うことにより、暫定画素データＤｐを算出して、補間画素データ抽出部に与える。
【０１７８】
線形相関値／線形補間値演算部６は、メモリ部１に記憶されている原画素の画素データを用いて、図７のステップ１８の処理を行うことによって、線形相関値Ｃｌｉｎおよび線形補間値Ａｖｇを算出する。線形相関値／線形補間値演算部６は、得られた線形相関値Ｃｌｉｎを相関値比較部７に与えるととともに、得られた線形補間値Ａｖｇを補間画素データ抽出部８に与える。
【０１７９】
相関値比較部７は、最小値抽出部３は、相関値比較部７から与えられた斜め方向の最小相関値Ｃｍｉｎと、線形相関値／線形補間値演算部６から与えられた線形相関値Ｃｌｉｎを比較して、比較結果を補間画素データ抽出部８に送る。
【０１８０】
補間画素データ抽出部８は、図７のステップ１９の処理を行うものであり、暫定補間画素データ抽出部５から与えられた暫定画素データＤｐおよび線形相関値／線形補間値演算部６から与えられた線形補間値Ａｖｇのうち、相関値比較部７からのの比較結果信号に基づいて一方を選択して切換部９に送る。
【０１８１】
つまり、補間画素データ抽出部８は、線形相関値Ｃｌｉｎが斜め方向相関最小値Ｃｍｉｎ以下である場合には線形補間値Ａｖｇを出力し、線形相関値Ｃｌｉｎが斜め方向相関最小値Ｃｍｉｎより大きい場合には暫定画素データＤｐを出力する。
【０１８２】
なお、原画素の画素データは、メモリ部１および補間相関値演算部２を介して、切換部９に送られる。つまり、ｎライン上の原画素の画素データが出力される際には切換部９から原画素データが出力端子ＯＵＴに出力され、ｉライン上の補間画素の画素データが出力される際には、切換部９から補間画素の画素データが出力端子ＯＵＴに出力される。
【０１８３】
〔２〕第１提案手法と従来手法との比較
【０１８４】
〔２−１〕第１具体例
補間画素Ｘの周辺画素の画素値が図１１に示すような画素値である場合を想定する。なお、図１１において、黒丸は黒（画素値０）を表し、白丸は白（画素値１）を表しているものとする。図１１の例において、補間画素Ｘの画素データｘについて、従来手法と第１提案手法とを比較する。
【０１８５】
従来手法では、エッジ成分Ｅ、ｄｍａｘ（ｄ１３，ｄ２３のうちの大きい方の値）、ｄｍｉｎ（ｄ１３，ｄ２３のうちの小さい方の値）、ｄｃ（ｄｍａｘとｄｍｉｎの平均値）、設定可能範囲Ｓの最小値ｘａ、設定可能範囲Ｓの最大値ｘｂは、次のようになる。
【０１８６】
0003717863.tif 000007
【０１８７】
図１１の場合には、矢印の方向の相関が強くなる（相関値が最小となる）ため、図５のxmin＝xmax＝0 となる。したがって、図１１の場合には、図５（ｂ）に該当し、画素データはxa(0.25)となる。
【０１８８】
つまり、図１１の例では、補間画素Ｘより左側の画素は線形補間値(0.5) をとるが、補間画素Ｘの画素データｘは黒に近い0.25となるため、白線に段差が生じることになる。
【０１８９】
これに対して、第１提案手法では、第１エッジ成分Ｅ、第１エッジ成分Ｅｓ、ｄｍａｘ、ｄｍｉｎ、ｄｃ、設定可能範囲Ｓの最小値ｘａ、設定可能範囲Ｓの最第値ｘｂは、次のようになる。
【０１９０】
E ＝-d03+d13+d23-d33＝-0+1+0-1＝0
Es＝｜d03+d13-d23-d33 ｜＝｜0+1-0-1 ｜＝0
dmin＝0, dmax ＝1, dc ＝0.5
xa＝dc-Es ×γs ＝0.5- 0×γs ＝0.5
xb＝dc+Es ×γs+E ×γ＝0.5+0 ×γs+0 ×γ＝0.5
0.5 ≦S ≦0.5
【０１９１】
図１１の場合には、矢印の方向の相関が強くなる（相関値が最小となる）ため、図５のxmin＝xmax＝0 となる。したがって、図１１の場合には、図５（ｂ）に該当し、画素データはxa(0.5) となる。
【０１９２】
つまり、第１提案手法では、図１２に示すように、補間画素Ｘより左側の画素は線形補間値(0.5) をとるとともに、設定可能範囲の制限によって、補間画素Ｘの画素データｘも0.5 となるため、白線に段差は生じなくなる。
【０１９３】
〔２−２〕第２具体例
補間画素Ｘの周辺画素の画素値が図１３に示すような画素値である場合を想定する。なお、図１３において、黒丸は黒（画素値０）を表し、白丸は白（画素値１）を表しているものとする。図１３の例において、補間画素Ｘの画素データｘについて、従来手法と第１提案手法とを比較する。ただし、ここでは、斜め方向の相関値Ｌ，Ｒの算出方法の違いによる補間画素Ｘの補間データｘの差異について説明を行いたいため、従来手法においても設定可能範囲Ｓは第１提案手法による算出方法を用いることにした。
【０１９４】
第１エッジ成分Ｅ、第１エッジ成分Ｅｓ、ｄｍａｘ（ｄ１３，ｄ２３のうちの大きい方の値）、ｄｍｉｎ（ｄ１３，ｄ２３のうちの小さい方の値）、ｄｃ（ｄｍａｘとｄｍｉｎの平均値）、設定可能範囲Ｓの最小値ｘａ、設定可能範囲Ｓの最大値ｘｂは、次のようになる。
【０１９５】
E ＝-d03+d13+d23-d33＝-1+1+0-0＝0
Es＝｜d03+d13-d23-d33 ｜＝｜1+1-0-0 ｜＝2
dmin＝0, dmax ＝1, dc ＝0.5
xa＝dc-Es ×γs ＝0.5- 2×γs
xb＝dc+Es ×γs+E ×γ＝0.5+2 ×γs+0 ×γ＝0.5
γs ＝0.5 とすると、-0.5≦S ≦1.5
【０１９６】
従来手法では、斜め方向の相関値は、図１３の破線の矢印方向で最小値０(xd ＝xmax-xmin+β1 ×Hl- β2 ×V1＝(0-0)+β1 ×0-β2 ×0 ＝0)となる。したがって、図５において、xmin＝xmax＝0 となり、図５の（ｄ）に該当し、画素データｘは（xmin+ xmax)/2)＝0 となる。
【０１９７】
つまり、図１３の例では、補間画素Ｘは白部分と黒部分との間に存在するためその画素データｘは０．５となることが好ましいが、従来手法では、破線矢印方向の相関値が最小となるため、画素データｘは黒（０）となり、補間部に段差が生じることになる。
【０１９８】
これに対して、第１提案手法では、図１３の破線矢印方向の相関値ｘｄは、  次のようになる。
【０１９９】
xd＝xmax-xmin+β1 ×Hl- β2 ×V1＝(0-0)+β1 ×3-β2 ×0 ＝3 β1
【０２００】
また、実線矢印方向の相関値xdは、次のようになる。
【０２０１】
xd＝xmax-xmin+β1 ×Hl- β2 ×V1＝(1-0)+β1 ×1-β2 ×0 ＝1+β1
【０２０２】
β1 ＞0.5 に設定すると、破線矢印方向の相関値＞実線矢印方向の相関値となり、実線矢印方向の相関値が最小となる。このため、xmin＝0,xmax＝1 となる。したがって、図１３の場合には、従来手法と同様に図５（ｄ）に該当するが、画素データは(xmin+xmax)/2 ＝0.5 となり、補間部で段差は生じなくなる。
【０２０３】
〔３〕第２の実施の形態の説明
【０２０４】
以下、この発明の第２の実施の形態による画像補間方法（以下、第２提案手法という）について説明する。
【０２０５】
第２提案手法は第１提案手法とほぼ同様であるが、斜め相関値Ｌ，Ｒを算出する際に用いられる水平相関強度Ｈｌ，Ｈｒの算出方法のみが第１提案手法と異なっている。
【０２０６】
Ｈｌ，Ｈｒの算出方法の基本的な考え方について説明する。ＨｌおよびＨｒの算出方法の基本的な考え方は同様なので、ここでは、Ｈｌの算出方法の基本的な考え方について説明する。
【０２０７】
Ｈｌは、上側の対向画素（この例では図１のＤ１２）側の水平相関強度と下側の対向画素（この例では図１のＤ２４）側の水平相関強度のうちの大きい方の値であると定義される。
【０２０８】
任意の注目原画素の真上の原画素に対する水平方向の二次微分値と、当該注目原画素に対する水平方向の二次微分値の２倍の値と、当該注目原画素の真下の原画素に対する水平方向の二次微分値との和を当該注目原画素を中心とする所定領域（３×３画素の領域）の水平相関強度と定義する。
【０２０９】
補正画素Ｘの真上の画素を第１の原画素とし、補正画素Ｘの真下の画素を第２の原画素とすると、上側の対向画素が第１の原画素から水平方向に１番目にある画素であり、下側の対向画素が第２の原画素から水平方向に１番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となり、下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度となる。
【０２１０】
また、上側の対向画素が第１の原画素から水平方向にｎ番目にある画素であり、下側の対向画素が第２の原画素から水平方向にｎ番目にある画素である場合には、上側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第１の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。下側の対向画素側の水平相関強度は、当該対向画素を中心とする所定領域の水平相関強度に、第２の原画素と当該対向画素との間にある各原画素それぞれを中心とする所定領域の水平相関強度の総和を加算した値となる。
【０２１１】
図６の相関値Ｌ１，Ｌ２，Ｒ１，Ｒ２の算出に用いられる水平相関強度Ｈｌ1,Ｈｌ2 , Ｈｒ1 ，Ｈｒ2 について説明する。
【０２１２】
Ｈｌ1 は、ＡＬ１を上側の対向画素Ｄ１２を中心とする所定領域の水平相関強度とし、ＢＬ１を下側の対向画素Ｄ２４を中心とする所定領域の水平相関強度とすると、次式（３６）で表される。
【０２１３】
0003717863.tif 000008
【０２１４】
つまり、上側の対向画素Ｄ１２側の水平相関強度は、上側の対向画素Ｄ１２を中心とする所定領域の水平相関強度ＡＬ１と等しくなり、画素Ｄ１２の真上の画素Ｄ０２に対する水平方向の二次微分値( ｜-d03+2*d02-d01｜) と当該対向画素Ｄ１２に対する水平方向の二次微分値( ｜-d13+2*d12-d11｜) の２倍の値と当該対向画素Ｄ１２の真下の画素Ｄ２２に対する水平方向の二次微分値( ｜-d23+2*d22-d21｜) との和で表される。
【０２１５】
下側の対向画素Ｄ２４側の水平相関強度は、下側の対向画素Ｄ２４を中心とする所定領域の水平相関強度ＢＬ１と等しくなり、画素Ｄ２４の真上の画素Ｄ１４に対する水平方向の二次微分値( ｜-d13+2*d14-d15｜) と画素Ｄ２４に対する水平方向の二次微分値( ｜-d23+2*d24-d25｜) の２倍の値と画素Ｄ２４の真下の画素Ｄ３４に対する水平方向の二次微分値( ｜-d33+2*d34-d35｜) との和で表される。
【０２１６】
また、Ｈｌ2 は、ＡＬ１を画素Ｄ１２を中心とする所定領域の水平相関強度とし、ＡＬ２を画素Ｄ１１を中心とする所定領域の水平相関強度とし、ＢＬ１を画素Ｄ２４を中心とする所定領域の水平相関強度とし、ＢＬ２を画素２５を中心とする所定領域の水平相関強度とすると、上述した算出方法の基本的な考え方ににしたがって、次式（３７）で表される。
【０２１７】
0003717863.tif 000009
【０２１８】
Ｈｒ1 は、ＡＲ１を上側の対向画素Ｄ１４を中心とする所定領域の水平相関強度とし、ＢＲ１を下側の対向画素Ｄ２２を中心とする所定領域の水平相関強度とすると、次式（３８）で表される。
【０２１９】
0003717863.tif 000010
【０２２０】
また、Ｈｒ2 は、ＡＲ１を画素Ｄ１４を中心とする所定領域の水平相関強度とし、ＡＲ２を画素Ｄ１５を中心とする所定領域の水平相関強度とし、ＢＲ１を画素Ｄ２２を中心とする所定領域の水平相関強度とし、ＢＲ２を画素２１を中心とする所定領域の水平相関強度とすると、上述した算出方法の基本的な考え方ににしたがって、次式（３９）で表される。
【０２２１】
0003717863.tif 000011
【０２２２】
〔４〕第１提案手法と第２提案手法との比較
補間画素Ｘの周辺画素の画素値が図１４に示すような画素値である場合を想定する。なお、図１４において、黒丸は黒（画素値０）を表し、白丸は白（画素値１）を表している。なお、画素Ｄ１３およびＤ２３の画素値ｄ１３，ｄ２３は０．２５であり、画素Ｄ１４およびＤ２２の画素値ｄ１４，ｄ２２は０．５であり、画素Ｄ１５およびＤ２１の画素値ｄ１５，ｄ２１は０．７５である。図１４の例において、補間画素Ｘの画素データｘについて、第１提案手法と第２提案手法とを比較する。
【０２２３】
第１提案手法、第２提案手法とも、第１エッジ成分Ｅ、第１エッジ成分Ｅｓ、ｄｍａｘ（ｄ１３，ｄ２３のうちの大きい方の値）、ｄｍｉｎ（ｄ１３，ｄ２３のうちの小さい方の値）、ｄｃ（ｄｍａｘとｄｍｉｎの平均値）、設定可能範囲Ｓの最小値ｘａ、設定可能範囲Ｓの最第値ｘｂは、次のようになる。
【０２２４】
E ＝-d03+d13+d23-d33＝-0+0.25+0.25-0＝0.5
Es＝｜d03+d13-d23-d33 ｜＝｜0+0.25-0.25-0 ｜＝0
dmin＝025, dmax ＝0.25, dc＝0.25
xa＝dc-Es ×γs ＝0.25- 0 ×γs ＝0.25
xb＝dc+Es ×γs+E ×γ＝0.25+0×γs+0.5 ×γ＝0.25+0.5×γ
γ＝0.5 とすると、0.25≦S ≦0.5
【０２２５】
第１提案手法では、図１３の破線の矢印方向の相関値を算出するために用いられるHr,Vr , および相関値xdは、次のようになる。
【０２２６】
0003717863.tif 000012
【０２２７】
また、第１提案手法では、図１３の実線の矢印方向の相関値を算出するために用いられるHl,Vl , および相関値xdは、次のようになる。
【０２２８】
0003717863.tif 000013
【０２２９】
β2 ＜( β1 /2）とすると、実線矢印方向の相関値が最小となる。したがって、図５において、xmin＝xmax＝0 となり、図５の（ｂ）に該当し、画素データｘはxa＝0.25( 黒に近い値) となり、白の斜め線に分断箇所が生じる。
【０２３０】
一方、第２提案手法では、図１３の破線の矢印方向の相関値を算出するために用いられるHr,Vr , および相関値xdは、次のようになる。
【０２３１】
0003717863.tif 000014
【０２３２】
また、第２提案手法では、図１３の実線の矢印方向の相関値を算出するために用いられるHl,Vl , および相関値xdは、次のようになる。
【０２３３】
0003717863.tif 000015
【０２３４】
このため、β1,β2 の値によらず、破線矢印方向の相関値が最小となる。したがって、図５において、xmin＝xmax＝0.5 となり、図５の（ａ）に該当し、画素データｘはｘｂ＝0.5 となり、白の斜め線に分断箇所が発生しなくなる。
【０２３５】
〔３〕第３の実施の形態の説明
【０２３６】
以下、この発明の第３の実施の形態による画像補間方法（以下、第３提案手法という）について説明する。
【０２３７】
第３提案手法は第２提案手法とほぼ同様であるが、斜め相関値Ｌ，Ｒを算出される際に用いられる水平相関強度Ｈｌ，Ｈｒ，Ｖｌ，Ｖｒの算出方法のみが第２提案手法と異なっている。
【０２３８】
第３提案手法では、Ｈｌ，Ｈｒは、上側の対向画素側の水平相関強度と下側の対向画素側の水平相関強度との和であると定義される。上側の対向画素側の水平相関強度および下側の対向画素の定義は、第提案２手法と同じである。
【０２３９】
図６の相関値Ｌ１，Ｌ２，Ｒ１，Ｒ２の算出に用いられる水平相関強度Ｈｌ1,Ｈｌ2 , Ｈｒ1 ，Ｈｒ2 について説明する。
【０２４０】
Ｈｌ1 は、ＡＬ１を上側の対向画素Ｄ１２を中心とする所定領域の水平相関強度とし、ＢＬ１を下側の対向画素Ｄ２４を中心とする所定領域の水平相関強度とすると、次式（４０）で表される。
【０２４１】
0003717863.tif 000016
【０２４２】
また、Ｈｌ2 は、ＡＬ１を画素Ｄ１２を中心とする所定領域の水平相関強度とし、ＡＬ２を画素Ｄ１１を中心とする所定領域の水平相関強度とし、ＢＬ１を画素Ｄ２４を中心とする所定領域の水平相関強度とし、ＢＬ２を画素２５を中心とする所定領域の水平相関強度とすると、次式（４１）で表される。
【０２４３】
0003717863.tif 000017
【０２４４】
Ｈｒ1 は、ＡＲ１を上側の対向画素Ｄ１４を中心とする所定領域の水平相関強度とし、ＢＲ１を下側の対向画素Ｄ２２を中心とする所定領域の水平相関強度とすると、次式（４２）で表される。
【０２４５】
0003717863.tif 000018
【０２４６】
また、Ｈｒ2 は、ＡＲ１を画素Ｄ１４を中心とする所定領域の水平相関強度とし、ＡＲ２を画素Ｄ１５を中心とする所定領域の水平相関強度とし、ＢＲ１を画素Ｄ２２を中心とする所定領域の水平相関強度とし、ＢＲ２を画素２１を中心とする所定領域の水平相関強度とすると、次式（４３）で表される。
【０２４７】
0003717863.tif 000019
【０２４８】
第３提案手法では、垂直相関強度Ｖｌ, Ｖｒは、上側の対向画素側の垂直相関強度と下側の対向画素側の垂直相関強度との和であると定義される。上側の対向画素側の垂直相関強度は、当該対向画素に対する垂直方向の二次微分値であり、下側の対向画素側の垂直相関強度は当該対向画素に対する垂直方向の二次微分値である。
【０２４９】
図６の相関値Ｌ１，Ｒ１の算出に用いられる垂直相関強度Ｖｌ1,Ｖｒ1 について説明する。
【０２５０】
垂直相関強度Ｖｌ1 は、次式（４４）で表される。
【０２５１】
Vl1 ＝( ｜-d02+2*d12-d22｜＋｜-d14+2*d24-d34｜）  …(44)
【０２５２】
また、垂直相関強度Ｖｒ1 は、次式（４５）で表される。
【０２５３】
Vr1 ＝( ｜-d04+2*d14-d24｜＋｜-d12+2*d22-d32｜）    …(45)
【０２５４】
〔６〕第１提案手法および第２提案手法の変形例について
第１提案手法または第２提案手法において、斜め方向相関値Ｌ，Ｒを算出する際に、次に説明するような斜め相関強度を加算するようにしてもよい。
【０２５５】
つまり、斜め相関強度とは、現在参照している斜め方向のラインに対して、上下に位置する斜めラインの相関値のうち大きい方の相関値をいう。
【０２５６】
たとえば、図１５における破線矢印方向の相関値Ｌを算出する際には、斜め相関強度とは、その上側の斜めライン（Ｄ０２−Ｄ１４）の相関値｜ｄ０２−ｄ１４｜と下側の斜めライン（Ｄ２２−Ｄ３４）の相関値｜ｄ２２−ｄ３４｜のうちの大きい方をいう。
【０２５７】
【発明の効果】
本発明によれば、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができるようになる。
【図面の簡単な説明】
【図１】原画素と補間画素との関係を示す模式図である。
【図２】従来手法によって、補間画素Ｘの画素データｘを求めるための手順を示すフローチャートである。
【図３】補間画素Ｘの画素データｘの設定可能範囲Ｓを示す模式図である。
【図４】相関値Ｌと画素データｘの関係を表すグラフである。
【図５】相関値Ｌと画素データｘの関係を示すグラフ及び画素データの設定可能範囲Ｓを示す模式図である。
【図６】原画素と補間画素との関係を示す模式図である。
【図７】第１提案手法によって、補間画素Ｘの画素データｘを求めるための手順を示すフローチャートである。
【図８】補間画素Ｘの画素データｘの設定可能範囲Ｓを示す模式図である。
【図９】相関値Ｌと画素データｘの関係を表すグラフである。
【図１０】画像補間装置の構成を示すブロック図である。
【図１１】従来手法と第１提案手法とを比較するための具体例を示す模式図である。
【図１２】従来手法と第１提案手法とを比較するための具体例を示す模式図である。
【図１３】従来手法と第１提案手法とを比較するための他の具体例を示す模式図である。
【図１４】第１提案手法と第２提案手法とを比較するための具体例を示す模式図である。
【図１５】第１提案手法および第２提案手法の変形例を説明するための模式図である。
【符号の説明】
１  メモリ部
２  補間相関値演算部
３  最小値抽出部
４  画素データ選択部
５  暫定補間画素データ抽出部
６  線形相関値／線形補間値演算部
７  相関値比較部
８  補間画素データ抽出部
９  切換部
【図１】
0003717863.tif 000020
【図２】
0003717863.tif 000021
【図３】
0003717863.tif 000022
【図４】
0003717863.tif 000023
【図５】
0003717863.tif 000024
【図６】
0003717863.tif 000025
【図７】
0003717863.tif 000026
【図８】
0003717863.tif 000027
【図９】
0003717863.tif 000028
【図１０】
0003717863.tif 000029
【図１１】
0003717863.tif 000030
【図１２】
0003717863.tif 000031
【図１３】
0003717863.tif 000032
【図１４】
0003717863.tif 000033
【図１５】
0003717863.tif 000034