(57)【特許請求の範囲】
【請求項１】
第１から第Ｎ（Ｎは２以上の整数）の低解像度画像から、高解像度画像を生成する画像処理装置において、
前記第１の低解像度画像と第Ｊ（Ｊは２以上、Ｎ以下のいずれかの整数）の低解像度画像の間の位置ずれ量を求める位置ずれ量算出部と、
前記第１から第Ｎの低解像度画像の各画素の画素値を、前記位置ずれ量に基づいて、共通平面上に配列した各画素のいずれかに与えた合成画素配列と、前記共通平面上に存在する各画素に、前記第１から前記第Ｎの低解像度画像によってその画素値が与えられているか否かを示す有効画素指示データとを求める合成部と、
前記合成画素配列の各画素の画素値と前記有効画素指示データに基づき、前記共通平面上に設定される注目画素ごとに、前記注目画素を含む様に設定される注目領域内に存在する画素が持つ画素値を用いた補間演算から、前記高解像度画像内の各画素の画素値を求める画素値算出部
を有する画像処理装置であって、
前記画素値算出部は、
前記注目領域内に存在する画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる補間係数を求める補間係数算出部と、
前記補間係数と、前記注目領域内に存在する画素の持つ画素値を用いた補間演算を行う補間演算部を有し、
前記補間係数算出部は、
相関の強い方向に位置する画素が前記相関の強い画素であるとして処理するものであり、
前記相関の強い方向を、前記第１から第Ｎの低解像度画像のいずれか１つの画像から求め、
前記補間係数算出部は、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出部と、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出部と、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第３の方向に関する第３の変化量を求める第３の変化量算出部と、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第４の方向に関する第４の変化量を求める第４の変化量算出部と、
前記第１から第４の変化量をもとに、前記相関の強い方向を表す方向指示データを求める方向算出部と、
前記方向指示データから前記補間係数を求める係数算出部を含み、
前記方向算出部は、
前記第１の変化量を補間して得た第１の補間変化量と、
前記第２の変化量を補間して得た第２の補間変化量を用いて
前記相関の強い方向を求め、
前記第３の方向は水平方向であり、
前記第３の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画素の各画素を中心として水平方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記第４の方向は垂直方向であり、
前記第４の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素を中心として垂直方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記方向算出部は、
前記第１の補間変化量の絶対値が第１の閾値以下もしくは前記第２の補間変化量の絶対値が第２の閾値以下の場合、
前記第３の変化量および前記第４の変化量に応じて前記相関の強い方向を判断する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の方向は水平方向であり、
前記第１の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素を中心として水平方向に画素値の変化の一次微分を求めたものであり、
前記第２の方向は垂直方向であり、
前記第２の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素を中心として垂直方向に画素値の変化の一次微分を求めたものである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記方向算出部は、
前記注目画素の近傍に存在する、前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の画素ごとに前記第３の変化量の絶対値と前記第４の変化量の絶対値を比較した結果、
前記第３の変化量の絶対値より前記第４の変化量の絶対値の方が大きい画素の数が多い場合、前記第３の方向に相関が強いと判断し、
前記第４の変化量の絶対値より前記第３の変化量の絶対値の方が大きい画素の数が多い場合、前記第４の方向に相関が強いと判断する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記方向算出部は、
前記注目画素の近傍に存在する、前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の画素ごとに前記第３の変化量の絶対値と前記第４の変化量の絶対値を比較した結果、
前記第３の変化量の絶対値より前記第４の変化量の絶対値の方が大きい画素の数と、前記第４の変化量の絶対値より前記第３の変化量の絶対値の方が大きい画素の数の差が第３の閾値より小さい場合、
相関が強い方向は存在しないと判断する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記係数算出部は、
前記注目領域内に存在する画素と前記注目画素の距離および前記方向指示データに基づいて、前記注目領域内に存在する画素に対する補間係数を求める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
第１から第Ｎ（Ｎは２以上の整数）の低解像度画像から、高解像度画像を生成する画像処理方法において、
前記第１の低解像度画像と第Ｊ（Ｊは２以上、Ｎ以下のいずれかの整数）の低解像度画像の間の位置ずれ量を求める位置ずれ量算出ステップと、
前記第１から第Ｎの低解像度画像の各画素の画素値を、前記位置ずれ量に基づいて、共通平面上に配列した各画素のいずれかに与えた合成画素配列と、前記共通平面上に存在する各画素に、前記第１から前記第Ｎの低解像度画像によってその画素値が与えられているか否かを示す有効画素指示データとを求める合成ステップと、
前記合成画素配列の各画素の画素値と前記有効画素指示データに基づき、前記共通平面上に設定される注目画素ごとに、前記注目画素を含む様に設定される注目領域内に存在する画素が持つ画素値を用いた補間演算から、前記高解像度画像内の各画素の画素値を求める画素値算出ステップ
を有する画像処理方法であって、
前記画素値算出ステップは、
前記注目領域内に存在する画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる補間係数を求める補間係数算出ステップと、
前記補間係数と、前記注目領域内に存在する画素の持つ画素値を用いた補間演算を行う補間演算ステップを有し、
前記補間係数算出ステップは、
相関の強い方向に位置する画素が前記相関の強い画素であるとして処理するものであり、
前記相関の強い方向を、前記第１から第Ｎの低解像度画像のいずれか１つの画像から求め、
前記補間係数算出ステップは、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出ステップと、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出ステップと、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第３の方向に関する第３の変化量を求める第３の変化量算出ステップと、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第４の方向に関する第４の変化量を求める第４の変化量算出ステップと、
前記第１から第４の変化量をもとに、前記相関の強い方向を表す方向指示データを求める方向算出ステップと、
前記方向指示データから前記補間係数を求める係数算出ステップを含み、
前記方向算出ステップは、
前記第１の変化量を補間して得た第１の補間変化量と、
前記第２の変化量を補間して得た第２の補間変化量を用いて
前記相関の強い方向を求め、
前記第３の方向は水平方向であり、
前記第３の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画素の各画素を中心として水平方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記第４の方向は垂直方向であり、
前記第４の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素を中心として垂直方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記方向算出ステップは、前記第１の補間変化量の絶対値が第１の閾値以下もしくは前記第２の補間変化量の絶対値が第２の閾値以下の場合、前記第３の変化量および前記第４の変化量に応じて前記相関の強い方向を判断する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関する。
【背景技術】
【０００２】
従来から、複数枚の入力画像から１つの出力画像を生成する画像処理装置が知られている。たとえば、特許文献１記載の画像処理装置では、複数の入力画像から１つの出力画像を生成する画像処理装置において、位置（Ｉ’，Ｊ’）での画素値を計算する際、より近い位置の画素の影響をより強く受けるように、位置（Ｉ’，Ｊ’）からの距離に対して単調減少する関数で補間演算のための重み係数を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４９６８８３号明細書（段落０１４４、０１４８、０１４９）
【特許文献２】特許第２８９７７７２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、位置（Ｉ’，Ｊ’）での画素値を計算する際、より近い位置の画素の影響をより強く受けるように、位置（Ｉ’，Ｊ’）からの距離に対して単調減少する関数で補間演算のための重み係数を求めていると、画像によっては不適切な画素値が計算される。
特に、位置（Ｉ’，Ｊ’）の近くにエッジのように輝度値が大きく変わる部分があった場合、補間結果が不適切となり、出力画像の輝度値の変化に違和感が生じることがある。
【課題を解決するための手段】
【０００５】
本発明の一つの態様の画像処理装置は、
第１から第Ｎ（Ｎは２以上の整数）の低解像度画像から、高解像度画像を生成する画像処理装置において、
前記第１の低解像度画像と第Ｊ（Ｊは２以上、Ｎ以下のいずれかの整数）の低解像度画像の間の位置ずれ量を求める位置ずれ量算出部と、
前記第１から第Ｎの低解像度画像の各画素の画素値を、前記位置ずれ量に基づいて、共通平面上に配列した各画素のいずれかに与えた合成画素配列と、前記共通平面上に存在する各画素に、前記第１から前記第Ｎの低解像度画像によってその画素値が与えられているか否かを示す有効画素指示データとを求める合成部と、
前記合成画素配列の各画素の画素値と前記有効画素指示データに基づき、前記共通平面上に設定される注目画素ごとに、前記注目画素を含む様に設定される注目領域内に存在する画素が持つ画素値を用いた補間演算から、前記高解像度画像内の各画素の画素値を求める画素値算出部
を有する画像処理装置であって、
前記画素値算出部は、
前記注目領域内に存在する画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる補間係数を求める補間係数算出部と、
前記補間係数と、前記注目領域内に存在する画素の持つ画素値を用いた補間演算を行う補間演算部を有し、
前記補間係数算出部は、
相関の強い方向に位置する画素が前記相関の強い画素であるとして処理するものであり、
前記相関の強い方向を、前記第１から第Ｎの低解像度画像のいずれか１つの画像から求め、
前記補間係数算出部は、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出部と、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出部と、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第３の方向に関する第３の変化量を求める第３の変化量算出部と、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第４の方向に関する第４の変化量を求める第４の変化量算出部と、
前記第１から第４の変化量をもとに、前記相関の強い方向を表す方向指示データを求める方向算出部と、
前記方向指示データから前記補間係数を求める係数算出部を含み、
前記方向算出部は、
前記第１の変化量を補間して得た第１の補間変化量と、
前記第２の変化量を補間して得た第２の補間変化量を用いて
前記相関の強い方向を求め、
前記第３の方向は水平方向であり、
前記第３の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画素の各画素を中心として水平方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記第４の方向は垂直方向であり、
前記第４の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素を中心として垂直方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記方向算出部は、
前記第１の補間変化量の絶対値が第１の閾値以下もしくは前記第２の補間変化量の絶対値が第２の閾値以下の場合、
前記第３の変化量および前記第４の変化量に応じて前記相関の強い方向を判断する
ことを特徴とする。
【０００６】
本発明の他の態様の画像処理方法は、
第１から第Ｎ（Ｎは２以上の整数）の低解像度画像から、高解像度画像を生成する画像処理方法において、
前記第１の低解像度画像と第Ｊ（Ｊは２以上、Ｎ以下のいずれかの整数）の低解像度画像の間の位置ずれ量を求める位置ずれ量算出ステップと、
前記第１から第Ｎの低解像度画像の各画素の画素値を、前記位置ずれ量に基づいて、共通平面上に配列した各画素のいずれかに与えた合成画素配列と、前記共通平面上に存在する各画素に、前記第１から前記第Ｎの低解像度画像によってその画素値が与えられているか否かを示す有効画素指示データとを求める合成ステップと、
前記合成画素配列の各画素の画素値と前記有効画素指示データに基づき、前記共通平面上に設定される注目画素ごとに、前記注目画素を含む様に設定される注目領域内に存在する画素が持つ画素値を用いた補間演算から、前記高解像度画像内の各画素の画素値を求める画素値算出ステップ
を有する画像処理方法であって、
前記画素値算出ステップは、
前記注目領域内に存在する画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる補間係数を求める補間係数算出ステップと、
前記補間係数と、前記注目領域内に存在する画素の持つ画素値を用いた補間演算を行う補間演算ステップを有し、
前記補間係数算出ステップは、
相関の強い方向に位置する画素が前記相関の強い画素であるとして処理するものであり、
前記相関の強い方向を、前記第１から第Ｎの低解像度画像のいずれか１つの画像から求め、
前記補間係数算出ステップは、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出ステップと、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出ステップと、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第３の方向に関する第３の変化量を求める第３の変化量算出ステップと、
前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素に対してその画素を中心とした第４の方向に関する第４の変化量を求める第４の変化量算出ステップと、
前記第１から第４の変化量をもとに、前記相関の強い方向を表す方向指示データを求める方向算出ステップと、
前記方向指示データから前記補間係数を求める係数算出ステップを含み、
前記方向算出ステップは、
前記第１の変化量を補間して得た第１の補間変化量と、
前記第２の変化量を補間して得た第２の補間変化量を用いて
前記相関の強い方向を求め、
前記第３の方向は水平方向であり、
前記第３の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画素の各画素を中心として水平方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記第４の方向は垂直方向であり、
前記第４の変化量は前記第１から第Ｎの低解像度画像の前記いずれか１つの画像の各画素を中心として垂直方向に画素値の変化の二次微分の絶対値を求めたものであり、
前記方向算出ステップは、
前記第１の補間変化量の絶対値が第１の閾値以下もしくは前記第２の補間変化量の絶対値が第２の閾値以下の場合、
前記第３の変化量および前記第４の変化量に応じて前記相関の強い方向を判断する
ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、エッジのように輝度値が大きく変わる部分があった場合でも、補間結果が不適切となることなく、出力画像の輝度値の変化に違和感が生じることもない。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１による画像処理装置を示すブロック図である。
【図２】一つの低解像度画像Ｄ０１における画素の配列を概略的に示す図である。
【図３】他の低解像度画像Ｄ０２における画素の配列を概略的に示す図である。
【図４】図１の合成部２０によって得られる合成画素配列Ｄ２０Ａの一つの例の一部を模式的に表す図である。
【図５】図１の合成部２０によって得られる合成画素配列Ｄ２０Ａの他の例の一部を模式的に表す図である。
【図６】図１の補間係数算出部３Ａの構成例を示すブロック図である。
【図７】（Ａ）、（Ｂ）及び（Ｃ）は、図６の変化量推定量Ｄ３Ａ５１及びＤ３Ａ５２の絶対値の少なくとも一方が小さくなる画像の例を示す図である。
【図８】本発明の実施の形態２による画像処理方法を実行する演算装置を示すブロック図である。
【図９】実施の形態２による画像処理方法の処理手順を示すフローチャートである。
【図１０】図９の補間係数算出ステップＳＴ３Ａの処理手順を示すフローチャートである。
【図１１】図１０の方向算出ステップＳＴ３Ａ５の処理手順を示すフローチャートである。
【図１２】図１１の変化量比較ステップＳＴ３Ａ５３の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図である。実施の形態１による画像処理装置は、位置ずれ量算出部１０、合成部２０、及び画素値算出部３０を備える。また、実施の形態１による画像処理装置は複数の例えば２枚の低解像度画像を入力画像とし、１枚の高解像度画像を出力画像とする。図１では入力画像として、第１の低解像度画像Ｄ０１、第２の低解像度画像Ｄ０２が記され、出力画像として高解像度画像Ｄ３０が記されている。
【００１０】
図２は一つの、即ち第１の低解像度画像Ｄ０１を表す図であり、低解像度画像Ｄ０１および低解像度画像Ｄ０１を構成する画素の一部が模式的に表されている。図２において、最も小さい四角が各画素を表している。また、低解像度画像Ｄ０１の水平方向、垂直方向に沿って水平座標、垂直座標が定義されており、水平座標がｘ、垂直座標がｙで表される座標に位置する画素の画素値をＤ０１（ｘ，ｙ）で表す。また、これらの座標軸の格子点の間隔は入力画像Ｄ０を構成する画素の間隔と等しいものとする。図２に示した例では、低解像度画像Ｄ０１の水平方向の画素数はＷ、垂直方向の画素数はＨとなる。
【００１１】
図３は他の、即ち第２の低解像度画像Ｄ０２を表す図であり、低解像度画像Ｄ０２および低解像度画像Ｄ０２を構成する画素の一部が模式的に表されている。図３の表記法は図２に準じているのでその詳細な説明は省略するが、水平座標がｘ、垂直座標がｙで表される座標に位置する画素の画素値をＤ０２（ｘ，ｙ）で表している。なお、低解像度画像Ｄ０２の画素数は水平方向、垂直方向ともに低解像度画像Ｄ０１と同じになっている。
【００１２】
以下、本発明の実施の形態１による画像処理装置および各構成要素の動作について説明する。
【００１３】
位置ずれ量算出部１０は低解像度画像Ｄ０１に対して低解像度画像Ｄ０２がどの程度位置ずれを起こしているかを算出し、算出した結果を位置ずれ量Ｄ１０として出力する。ここで求める位置ずれ量Ｄ１０は低解像度画像Ｄ０１に対し低解像度画像Ｄ０２がどの程度動いているかを表す数値であり、一般に動きベクトルとも呼ばれる。以下の例では、動きベクトルあるいは位置ずれ量Ｄ１０は２次元のベクトルであるとする。すなわち、位置ずれ量Ｄ１０は低解像度画像Ｄ０１に対して低解像度画像Ｄ０２が水平方向および垂直方向にどの程度ずれているかを表す量である。
【００１４】
位置ずれ量Ｄ１０はサブピクセル単位で求められる。つまり、位置ずれ量Ｄ１０は、低解像度画像Ｄ０１あるいは低解像度画像Ｄ０２の画素間隔よりも短い距離を最小単位として求められる。以下に詳しく説明する例では、この最小単位は、低解像度画像Ｄ０１及びＤ０２における画素間隔の０．２５倍である。このような位置ずれ量Ｄ１０の求め方としては位相相関法や特許文献２に記載の方法などの公知の算出方法を用いることが出来る。
【００１５】
合成部２０は位置ずれ量Ｄ１０に基づいて低解像度画像Ｄ０１および低解像度画像Ｄ０２を合成した結果得られる合成画素配列Ｄ２０Ａおよび有効画素指示データＤ２０Ｂを出力する。ここで低解像度画像Ｄ０１および低解像度画像Ｄ０２の合成はサブピクセル単位で行われる。
【００１６】
まず、合成画素配列Ｄ２０Ａの求め方について説明する。
図４及び図５は合成部２０によって得られる合成画素配列Ｄ２０Ａの、互いに異なる例の一部を模式的に表す図である。
合成画素配列Ｄ２０Ａは、低解像度画像Ｄ０１や低解像度画像Ｄ０２同様、水平方向の座標軸および垂直方向の座標軸で張られる座標平面上に並ぶ画素に対して与えられる画素値として表すことができる。別の言い方をすれば、合成画素配列Ｄ２０Ａは座標平面上に並ぶ画素によって構成される。
また、図４及び図５に示す水平方向座標軸、及び垂直方向座標軸の座標値ｘ，ｙがそれぞれ１だけ変化する長さは図２及び図３に示された座標軸と同じである。すなわち、低解像度画像Ｄ０１と合成画素配列Ｄ２０Ａは同一の座標平面上で表現することが可能である。また、図４及び図５における最も小さい四角は、合成画素配列における各画素を表し、合成画素配列における画素間隔は、図２及び図３に示される、低解像度画像Ｄ０１、Ｄ０２における画素間隔の０．２５倍である。従って、例えば座標（ｘ，ｙ）の画素は、水平方向は、ｘ−０．１２５からｘ＋０．１２５までの範囲、垂直方向はｙ−０．１２５からｙ＋０．１２５までの範囲内に収まる大きさを有する。
【００１７】
図４は、位置ずれ量算出部１０において、低解像度画像Ｄ０２は低解像度画像Ｄ０１に対し、水平方向は０．５画素右に、垂直方向は０．５画素下にずれていると判断された場合に得られる合成画素配列Ｄ２０Ａを模式的に表している。
【００１８】
この場合、合成画素配列Ｄ２０Ａは、低解像度画像Ｄ０２を低解像度画像Ｄ０１に対して水平方向は０．５画素左に、垂直方向は０．５画素上にずらした位置に配置した形で作成される。
すなわち、まず、合成画素配列Ｄ２０Ａを構成する画素のうち、合成画素配列Ｄ２０Ａを表す座標平面上で水平座標がｘ、垂直座標がｙで表される位置に存在する画素に対しては、その画素値として低解像度画像Ｄ０１において水平座標がｘ、垂直座標がｙで表される位置に存在する画素の画素値Ｄ０１（ｘ，ｙ）を与える。そして、次に、合成画素配列Ｄ２０Ａを構成する画素のうち、合成画素配列Ｄ２０Ａを表す座標平面上で水平座標がｘ−０．５、垂直座標がｙ−０．５で表される位置に存在する画素に対しては、
その画素値として低解像度画像Ｄ０２において水平座標がｘ、垂直座標がｙで表される位置に存在する画素の画素値Ｄ０２（ｘ，ｙ）を与える。
【００１９】
図５は、位置ずれ量算出部１０において、低解像度画像Ｄ０２は低解像度画像Ｄ０１に対し、水平方向は１．７５画素左に、垂直方向は０．２５画素上にずれていると判断された場合に得られる合成画素配列Ｄ２０Ａを模式的に表している。
【００２０】
この場合、合成画素配列２０Ａは、低解像度画像Ｄ０２を低解像度画像Ｄ０１に対して水平方向は１．７５画素右に、垂直方向は０．２５画素下にずらした位置に配置した形で作成される。
すなわち、まず、合成画素配列Ｄ２０Ａを構成する画素のうち、合成画素配列Ｄ２０Ａを表す座標平面上で水平座標がｘ、垂直座標がｙで表される位置に存在する画素に対しては、その画素値として低解像度画像Ｄ０１において水平座標がｘ、垂直座標がｙで表される位置に存在する画素の画素値Ｄ０１（ｘ，ｙ）を与える。そして、次に、合成画素配列Ｄ２０Ａを構成する画素のうち、合成画素配列Ｄ２０Ａを表す座標平面上で水平座標がｘ＋１．７５、垂直座標がｙ＋０．２５で表される位置に存在する画素に対しては、その画素値として低解像度画像Ｄ０２において水平座標がｘ、垂直座標がｙで表される位置に存在する画素の画素値Ｄ０２（ｘ，ｙ）を与える。
【００２１】
なお、上記の説明から明らかなように、合成画素配列２０Ａを構成する画素の一部に関して、低解像度画像Ｄ０１を構成する画素の画素値あるいは低解像素画像Ｄ０２を構成する画素の画素値が与えられていないものがある。図４や図５に示した例の場合、水平座標がｘ、垂直座標がｙ＋０．５で表される画素や、水平座標がｘ＋０．２５、垂直座標がｙ＋０．２５で表される画素などは、低解像度画像Ｄ０１を構成する画素の画素値あるいは低解像素画像Ｄ０２を構成する画素の画素値が与えられていない。このような画素に関してはその画素値として０を与える。
【００２２】
次に、有効画素指示データＤ２０Ｂの求め方について説明する。
有効画素指示データＤ２０Ｂは、合成画素配列Ｄ２０Ａを構成する画素ごとにその値として１または０が与えられる。具体的には、合成画素配列２０Ａを構成する画素のうち、その画素値が、低解像度画像Ｄ０１を構成する画素の画素値あるいは低解像素画像Ｄ０２を構成する画素の画素値によって与えられるものについては、有効画素指示データＤ２０Ｂの値を「１」とし、低解像度画像Ｄ０１を構成する画素の画素値及び低解像素画像Ｄ０２を構成する画素の画素値のいずれによっても与えられないものについては、有効画素指示データＤ２０Ｂの値を「０」とする。
【００２３】
画素値算出部３０は、補間係数算出部３Ａ及び補間演算部３Ｂを備え、高解像度画像Ｄ３０を構成する各画素に対する画素値を補間演算によって求める。すなわち、合成画素配列Ｄ２０Ａを表す平面上に高解像度画像Ｄ３０を重ねた場合に、高解像度画像Ｄ３０の画素が重なる位置を注目位置とし、注目位置に高解像度画像Ｄ３０の画素があるとした場合の画素値を、注目位置を含むように設定される注目領域内に存在する、合成画素配列Ｄ２０を構成する画素の画素値を用いた補間演算によって計算する。
【００２４】
以下、合成画素配列Ｄ２０Ａを表す座標平面上で水平座標がｓ、垂直座標がｔである位置に高解像度画像Ｄ３０の画素があるとした場合の画素値をＤ３０（ｓ，ｔ）で表す。なお、以下の説明で特に明記なく水平座標や垂直座標等の座標値が与えられた場合、その座標値は合成画素配列Ｄ２０を表す座標平面上に与えられるものである。
【００２５】
合成画素配列Ｄ２０Ａを表す座標平面上に高解像度画像Ｄ３０を重ねた場合に、高解像度画像Ｄ３０の画素が重なる注目位置は、低解像度画像Ｄ０１の画素数と高解像度画像Ｄ３０の画素数の比から求められる。すなわち、高解像度画像Ｄ３０の画素数が水平方向にＵ、垂直画素数にＶであった場合、注目位置の水平座標ｓは１からＵの間の整数値をとる変数ｉを用いて下記の式（１）
【数１】
0005653184.tif 000002
により表すことができ、注目位置の垂直座標ｔは１からＶの間の整数値をとる変数ｊを用いて下記の式（２）
【数２】
0005653184.tif 000003
により表すことができる。
【００２６】
高解像度画像Ｄ３０の画素数が水平方向、垂直方向とも低解像度画像Ｄ０１の画素数の２倍である場合を例に考えると、Ｕ＝２Ｗ、Ｖ＝２Ｈとなり、合成画素配列Ｄ２０Ａを表す平面上で水平座標が１＋（ｉ−１）×０．５、垂直座標が１＋（ｊ−１）×０．５となる座標で表される位置が注目位置となる。この場合、図４あるいは図５に示した合成画素配列Ｄ２０Ａを表すための平面を用いて考えると、画素値算出部３０は例えば、
Ｄ３０（ｘ，ｙ）、
Ｄ３０（ｘ＋０．５，ｙ）、
Ｄ３０（ｘ，ｙ＋０．５）、
Ｄ３０（ｘ＋０．５，ｙ＋０．５）
といった画素値を求めることになる。
即ち、ｓは、低解像度画像における画素ピッチのＷ／Ｕ倍、例えば０．５倍を単位とする離散値であり、ｔは、低解像度画像における画素ピッチのＨ／Ｖ倍、例えば０．５倍を単位とする離散値である。
【００２７】
以下、補間係数算出部３Ａ及び補間演算部３Ｂについて説明する。
まず、補間係数算出部３Ａの動作、構成について説明する。以下に詳しく述べるように、補間係数算出部３Ａは、注目領域内に存在する画素のうち、注目画素との相関が強い画素に対するものほど大きな値となる補間係数Ｄ３Ａを求めるものであり、また、相関の強い方向に位置する画素を相関の強い画素として扱うものである。また、以下に説明する例では、上記の相関の強い方向を、第１の低解像度画像Ｄ０１から求めるが、代わりに、第２の低解像度画像Ｄ０２から求めるようにしても良い。
【００２８】
図６は補間係数算出部３Ａの構成例を示す図である。補間係数算出部３Ａは第１の変化量算出部３Ａ１、第２の変化量算出部３Ａ２、第３の変化量算出部３Ａ３、第４の変化量算出部３Ａ４、方向算出部３Ａ５、及び係数算出部３Ａ６を備える。
【００２９】
第１の変化量算出部３Ａ１は低解像度画像Ｄ０１の各画素について水平方向に関する画素値の一次微分を計算し、計算結果を第１の変化量Ｄ３Ａ１として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる水平方向に関する画素値の一次微分をＤ３Ａ１（ｘ，ｙ）で表すと、Ｄ３Ａ１（ｘ，ｙ）は以下の式（３）で計算される。
【数３】
0005653184.tif 000004
【００３０】
第２の変化量算出部３Ａ２は低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の一次微分を計算し、計算結果を第１の変化量Ｄ３Ａ２として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる垂直方向に関する画素値の一次微分をＤ３Ａ２（ｘ，ｙ）で表すと、Ｄ３Ａ２（ｘ，ｙ）は以下の式（４）で計算される。
【数４】
0005653184.tif 000005
【００３１】
第３の変化量算出部３Ａ３は低解像度画像Ｄ０１の各画素について水平方向に関する画素値の二次微分を計算し、計算結果を第３の変化量Ｄ３Ａ３として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる水平方向に関する画素値の二次微分をＤ３Ａ３（ｘ，ｙ）で表すと、Ｄ３Ａ３（ｘ，ｙ）は以下の式（５）で計算される。
【数５】
0005653184.tif 000006
【００３２】
第４の変化量算出部３Ａ４は低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の二次微分を計算し、計算結果を第４の変化量Ｄ３Ａ４として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる垂直方向に関する画素値の二次微分をＤ３Ａ４（ｘ，ｙ）で表すと、Ｄ３Ａ４（ｘ，ｙ）は以下の式（６）で計算される。
【数６】
0005653184.tif 000007
【００３３】
方向算出部３Ａ５は、注目位置を中心としてどの方向に相関が強いかを表す方向指示データＤ３Ａ５を、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４から求める。なお、注目位置と相関が強い方向とは、注目位置に存在する画素が存在すると仮定した場合に計算される画素値と近い画素値を持った画素が並ぶ方向を意味する。
【００３４】
図６に示すように、方向算出部３Ａ５は第１の変化量推定部３Ａ５１、第２の変化量推定部３Ａ５２、及び変化量比較部３Ａ５３を備える。
【００３５】
第１の変化量推定部３Ａ５１は、注目位置における第１の変化量の値を、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素に対して求められた第１の変化量Ｄ３Ａ１から推定し、その結果を第１の変化量推定値Ｄ３Ａ５１として出力する。
【００３６】
変化量推定値Ｄ３Ａ５１の推定には例えば線形補間を用いる。この場合、水平座標がｓ、垂直座標がｔで表される位置が注目位置であったとした場合に推定される変化量推定値Ｄ３Ａ５１の値をＤ３Ａ５１（ｓ，ｔ）で表すと、変化量推定値Ｄ３Ａ５１（ｓ，ｔ）は以下の式（７）
【数７】
0005653184.tif 000008
で計算される。なお、ｓｄｅｃ、ｔｄｅｃはそれぞれ座標値ｓの小数部の値、座標値ｔの小数部の値を表す。
【００３７】
第２の変化量推定部３Ａ５２は、注目位置における第２の変化量の値を、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素に対して求められた第２の変化量Ｄ３Ａ２から推定し、その結果を第２の変化量推定値Ｄ３Ａ５２として出力する。
変化量推定値Ｄ３Ａ５２の推定には例えば線形補間を用いる。この場合、水平座標がｓ、垂直座標がｔで表される位置が注目位置であったとした場合に推定される変化量推定値Ｄ３Ａ５２の値をＤ３Ａ５２（ｓ，ｔ）で表すと、変化量推定値Ｄ３Ａ５２（ｓ，ｔ）は以下の式（８）
【数８】
0005653184.tif 000009
で計算される。
【００３８】
変化量推定値Ｄ３Ａ５１及び変化量推定値Ｄ３Ａ５２は、補間により得られるものである場合、補間変化量とも呼ばれる。
【００３９】
変化量比較部３Ａ５３は、注目位置ごとに、第１の変化量推定値Ｄ３Ａ５１、第２の変化量推定値Ｄ３Ａ５２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４の値をもとに方向指示データＤ３Ａ５を決定し出力する。ここで方向指示データＤ３Ａ５は第１の方向指示値Ｄ３Ａ５ｘおよび第２の方向指示値Ｄ３Ａ５ｙからなる２次元の値である。
【００４０】
図６に示すように、変化量比較部３Ａ５３は第１の比較判定部３Ａ５３１、第２の比較判定部３Ａ５３２、及び方向指示値計算部３Ａ５３３を備える。
【００４１】
第１の比較判定部３Ａ５３１は、第１の変化量推定値Ｄ３Ａ５１の絶対値が第１の閾値Ｄ３Ａ５１ｔより大きく、かつ、第２の変化量推定値Ｄ３Ａ５２の絶対値が第２の閾値Ｄ３Ａ５２ｔより大きかった場合、第１の比較結果Ｄ３Ａ５３１として第１の値（例えば「１」）を出力し、それ以外の場合、第１の比較結果Ｄ３Ａ５３１として第２の値（例えば「０」）を出力する。
【００４２】
第２の比較判定部３Ａ５３２は、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素ごとに、その画素に対して求められた第３の変化量Ｄ３Ａ３の絶対値と第４の変化量Ｄ３Ａ４の絶対値の大小関係を調べる。そして、第３の変化量Ｄ３Ａ３の絶対値の方が第４の変化量Ｄ３Ａ４より大きい画素の数を第１のカウント値Ｄ３Ａ５３２Ｎ１として、第４の変化量Ｄ３Ａ４の絶対値の方が第３の変化量Ｄ３Ａ３より大きい画素の数を第２のカウント値Ｄ３Ａ５３２Ｎ２として出力する。なお、第１のカウント値Ｄ３Ａ５３２ＡＮ１および第２のカウント値Ｄ３Ａ５３２Ｎ２からなるデータを第２の比較結果Ｄ３Ａ５３２と呼ぶこともある。
【００４３】
方向指示値計算部３Ａ５３３は、方向指示データＤ３Ａ５を出力する。先に述べたように方向指示データＤ３Ａ５は第１の方向指示値Ｄ３Ａ５ｘおよび第２の方向指示値Ｄ３Ａ５ｙからなる２次元の値である。以下、方向指示値計算部３Ａ５３３における第１の方向指示値Ｄ３Ａ５ｘおよび第２の方向指示値Ｄ３Ａ５ｙの求め方について述べる。
【００４４】
方向指示計算部３Ａ５３３は、第１の比較結果Ｄ３Ａ５３１の値が第１の値（「１」）であった場合（即ち、第１の変化量算出部３Ａ１及び第２の変化量算出部３Ａ２３Ａ２で算出される水平方向の変化量及び垂直方向の変化量がともに大きい場合）、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（９）
【数９】
0005653184.tif 000010
により計算する。
【００４５】
方向指示計算部３Ａ５３３は、第１の比較結果Ｄ３Ａ５３１の値が第２の値（「０」）であった場合（即ち、第１の変化量算出部３Ａ１及び第２の変化量算出部３Ａ２で算出される水平方向の変化量及び垂直方向の変化量のいずれかが小さい場合）、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差が第３の閾値Ｄ３Ａ５３２ｔより小さければ、相関の強い方向は存在しないと判断し、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１０）
【数１０】
0005653184.tif 000011
により計算し、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差が第３の閾値Ｄ３Ａ５３２ｔ以上で、第１のカウント値Ｄ３Ａ５３２Ｎ１が第２のカウント値Ｄ３Ａ５３２Ｎ２より大きければ、第２の方向に相関が強いと判断し、第１の方向指示値Ｄ３Ａ５ｘ、及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１１）
【数１１】
0005653184.tif 000012
により計算し、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差が第３の閾値Ｄ３Ａ５３２ｔ以上で、第２のカウント値Ｄ３Ａ５３２Ｎ２が第１のカウント値Ｄ３Ａ５３２Ｎ１より大きければ、第１の方向に相関が強いと判断し、第１の方向指示値Ｄ３Ａ５ｘ、及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１２）
【数１２】
0005653184.tif 000013
により計算する。
【００４６】
係数算出部３Ａ６は方向指示データＤ３Ａ５をもとに注目領域内に存在する合成画素配列Ｄ２０Ａを構成する画素に対する補間係数Ｄ３Ａを計算し出力する。ここで補間係数Ｄ３Ａは、注目位置に対して相関が強いと判断される方向に近い位置に存在する画素に対するものほど大きな値となるように計算される。
【００４７】
以下、注目位置の水平座標がｓ、垂直座標がｔであった場合に、注目領域内に存在する合成画素配列Ｄ２０Ａを構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して計算される補間係数Ｄ３ＡをＤ３Ａ（ｐ，ｑ，ｓ，ｔ）で表し、補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）の計算方法の具体例を示す。
ここで、ｐ、ｑは、図４及び図５の例では、０．２５画素（低解像度画像における画素ピッチの０．２５倍）を単位とする離散値であり、一方、ｓ、ｔは上記のように、それぞれ低解像度画像における画素ピッチのＷ／Ｕ倍、例えば０．５倍、Ｈ／Ｖ倍、例えば０．５倍を単位とする離散値である。
【００４８】
補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）は以下の式（１３）
【数１３】
0005653184.tif 000014
で表される数値ｒに対して、単調に減少する関係で求められる。すなわち、変数ｒに対して単調に減少する関数ｆ（ｒ）を用いて、補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）は、
【数１４】
0005653184.tif 000015
と計算される。ここで上記の式（１４）において、Ｄ３Ａ５ｘ（ｓ，ｔ）、Ｄ３Ａ５ｙ（ｓ，ｔ）はそれぞれ、水平座標がｓ、垂直座標がｔで表される注目位置に対して計算される第１の方向指示データＤ３Ａ５ｘ、第２の方向指示データＤ３Ａ５ｙを表す。
なお、上述の方法によって、注目位置に対して相関が強いと判断される方向に近い位置に存在する画素に対するものほど大きな値となるよう補間係数Ｄ３Ａを計算できる理由は後述する。
補間係数算出部３Ａの動作、構成は以上の通りである。
【００４９】
次に、補間演算部３Ｂの動作について説明する。
【００５０】
補間演算部３Ｂは、画素値Ｄ３０（ｓ，ｔ）を補間演算によって求める。この補間演算は、注目領域内の各画素の画素値Ｄ２０Ａ（ｐ，ｑ）と、注目領域内の各画素についての有効画素指示データＤ２０Ｂ（ｐ，ｑ）と、注目画素の補間演算のための、注目領域内の各画素についての補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）とに基づいて行われるものであり、例えば
【数１５】
0005653184.tif 000016
と表される。ここで上記の式（１５）において、Ｄ２０Ａ（ｐ，ｑ）は、合成画素配列Ｄ２０Ａを構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して与えられた画素値を表し、Ｄ２０Ｂ（ｐ，ｑ）は、合成画素配列Ｄ２０Ａを構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して与えられた有効画素指示データＤ２０Ｂを表す。
【００５１】
以下、本発明の実施の形態１による画像処理装置の作用、効果について説明する。
まず、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２について説明する。以下に説明するように、高解像度画像Ｄ３０を、ｘ軸が高解像度画像Ｄ３０の水平座標、ｙ軸が高解像度画像Ｄ３０の垂直座標、ｚ軸が高解像度画像Ｄ３０の輝度値に対応する座標空間内の曲面であらわした場合、変化量推定値Ｄ３Ａ５１を第１成分とし、変化量推定値Ｄ３Ａ５２を第２成分とする２次元ベクトルは、高解像度画像Ｄ３０を表す曲面上の各点での勾配に相当するベクトルとなる。
【００５２】
曲面の勾配について説明する。一般的に曲面はｘ軸、ｙ軸、ｚ軸からなる座標空間内の２変数関数として定義できる。この２変数関数をｚ＝ｆ（ｘ，ｙ）で表すと、曲面の勾配は偏微分を用いた以下の２次元ベクトルで表される。
【数１６】
0005653184.tif 000017
この勾配は、曲面ｚ＝ｆ（ｘ，ｙ）上の各点について計算することが出来る。また、曲面ｚ＝ｆ（ｘ，ｙ）上のある点に対して計算される勾配は、その点を通る等高線に直交する方向を示すベクトルになる。なお、ｆ（ｘ，ｙ）のとる値は水平座標がｘ、垂直座標がｙとなる位置に存在する画素が持つ画素値である。
【００５３】
ここで、式（３）で表される第１の変化量Ｄ３Ａ１を第１成分、式（４）で表される第２の変化量Ｄ３Ａ２を第２成分とする２次元ベクトル（Ｄ３Ａ１，Ｄ３Ａ２）を考えると、この２次元ベクトルは低像度画像Ｄ０１を表す曲面の勾配になる。
【００５４】
画像を表す曲面を考えると、この曲面における等高線とは、その曲面が表す画像において画素値が同じ値となる画素をつないだものである。したがって画像を表す曲面上の各点で勾配が示す方向に直交する方向には、勾配を計算した位置に存在する画素と同じ画素値を持った画素が並んでいるとみなせる。
以上の性質から、高解像度画像Ｄ３０を表す曲面上の注目位置での勾配を計算することが出来れば、その値によって、注目位置に存在する画素に対して計算される画素値に近い画素値をもった画素が並ぶ方向、すなわち、注目画素に対して相関が強い方向を判断することが出来る。
【００５５】
しかしながら、高解像度画像Ｄ３０については画素値のほとんどが未知なため勾配を計算することが難しい。そこで本発明の実施の形態１による画像処理装置では低解像度画像Ｄ０１の勾配から高解像度画像Ｄ３０の勾配を近似的に求めている。低解像度画像Ｄ０１の勾配から高解像度画像Ｄ３０の勾配を近似的に求めることが出来る理由は以下の通りである。
【００５６】
一般に画像を構成する画像の画素値は滑らかに変化する。したがってある画像に対応した２変数関数は、その値が連続的に変化する連続関数とみなせる。連続関数においてはその一次微分値も連続的に変化するので、その連続関数上の任意の点の一次微分値はその点の近傍に位置する複数の点に対して与えられる一次微分値を補間したものと略同一の値になる。以上の性質と、曲面の勾配は曲面を表わす関数の一次微分で表されることを考慮に入れると、曲面上の各点の勾配も、その点の近傍に位置する複数の点に対して与えられる勾配を補間したもので近似可能であることがわかる。
【００５７】
高解像度画像Ｄ３０と低解像度画像Ｄ０１を比較すると、両者は画素数の違いを無視すれば同じ画像であり、座標空間上で両者を表す曲面はほぼ一致する。よって低解像度画像Ｄ０１の勾配を式（７）、式（８）のように補間することで高解像度画像Ｄ３０の勾配を近似的に求めることが出来る。
【００５８】
すなわち、低解像度画像Ｄ０１の勾配を表す第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２を補間して得られる変化量推定値Ｄ３Ａ５１、変化量推定値Ｄ３Ａ５２をそれぞれ第１成分、第２成分とする２次元ベクトルは、高解像度画像Ｄ３０の勾配を近似的に表すベクトルとなる。
【００５９】
次に、第１の方向指示値Ｄ３Ａ５ｘを第１成分、第２の方向指示値Ｄ３Ａ５ｙを第２成分とする２次元ベクトルについて述べる。
【００６０】
式（９）で表される第１の方向指示値Ｄ３Ａ５ｘ、第２の方向指示値Ｄ３Ａ５ｙをそれぞれ第１成分、第２成分とする２次元ベクトルは、変化量推定値Ｄ３Ａ５１を第１成分、変化量推定値Ｄ３Ａ５２を第２成分とする２次元ベクトルと平行な単位ベクトルになるので、このベクトルも、勾配と同じ方向を指している。また、勾配によって相関の強い方向が判断出来るので、式（９）で表される第１の方向指示値Ｄ３Ａ５ｘおよび第２の方向指示値Ｄ３Ａ５ｙによっても相関の強い方向を判断できる。
【００６１】
なお、変化量推定値Ｄ３Ａ５１あるいは変化量推定値Ｄ３Ａ５２の絶対値の少なくとも一方が小さな値の時、第３の変化量Ｄ３Ａ３、第４の変化量Ｄ３Ａ４の比較結果から第１の方向指示値Ｄ３Ａ５ｘ、第２の方向指示値Ｄ３Ａ５ｙを求めている。これには以下のような作用、効果がある。
【００６２】
図７は変化量推定値Ｄ３Ａ５１、Ｄ３Ａ５２の絶対値の少なくとも一方が小さな値となる典型的な画像を表している。図７（Ａ）は画像に垂直方向の縞模様が存在する場合であり、図７（Ｂ）は画像に水平方向の縞模様が存在する場合であり、図７（Ｃ）は画像に画素値の変化が見られない場合である。
図７（Ａ）のように画像内に垂直方向の縞模様がある場合、第２の変化量Ｄ３Ａ２の絶対値はあまり大きな値にならないため、第２の変化量Ｄ３Ａ２を補間して得られる変化量推定値Ｄ３Ａ５２の絶対値もあまり大きな値にならない。
図７（Ｂ）のように画像内に水平方向の縞模様がある場合、第１の変化量Ｄ３Ａ１の絶対値はあまり大きな値にならないため、第１の変化量Ｄ３Ａ１を補間して得られる変化量推定値Ｄ３Ａ５１の絶対値もあまり大きな値にはならい。
図７（Ｃ）のように画像内で画素値の変化が見られない場合、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２ともにその絶対値はあまり大きな値にならないため、変化量推定値Ｄ３Ａ５１、Ｄ３Ａ５２ともにその絶対値はあまり大きな値にならない。
【００６３】
低解像度画像Ｄ０１に図７（Ａ）のように垂直方向の縞模様がある場合を考える。この場合、低解像度画像Ｄ０１の画素値の水平方向の一次微分の絶対値はある程度大きな値になることが期待される。ここで一次微分の値は正の値や負の値を取りうる。
一方、高解像度画像Ｄ３０内の注目位置に対して計算される一次微分は低解像度画像Ｄ０１の各画素に対して計算される一次微分の補間によって与えられる。
【００６４】
まず、式（７）によって行われる水平方向に関する一次微分の補間について考える。縞模様の間隔によっては、式（７）で行う補間演算において、正の値と負の値を足しあうことになる。例えばＤ３Ａ１（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ）とＤ３Ａ１（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ＋１）が正の値であり、Ｄ３Ａ１（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ）とＤ３Ａ１（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ＋１）が負の値であると、正の値と負の値を足しあうことになり、補間演算の結果得られる変化量推定値Ｄ３Ａ５１はゼロに近い値、すなわち小さな値となり得る。
【００６５】
次に、式（８）によって行われる垂直方向に関する一次微分の補間について考える。この場合、Ｄ３Ａ２（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ）、Ｄ３Ａ２（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ＋１）、Ｄ３Ａ２（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ）、Ｄ３Ａ２（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ＋１）の絶対値はいずれも小さな値であるので補間演算の結果得られる変化量推定値Ｄ３Ａ５２も小さな値である。
【００６６】
ここで垂直方向の縞模様のように垂直方向に相関が強い場合、第１の方向指示値Ｄ３Ａ５ｘは１に近い値を、第２の方向指示値Ｄ３Ａ５ｙは０に近い値をとるべきである。そのためには変化量推定値Ｄ３Ａ５１の絶対値が変化量推定値Ｄ３Ａ５２の絶対値よりかなり大きい値である必要があるが、先にのべたように変化量推定値Ｄ３Ａ５１の絶対値は小さな値を取りうるので、そのような関係が満たされる保証がない。つまり垂直方向の縞模様が存在した場合、変化量推定値Ｄ３Ａ５１、Ｄ３Ａ５２からは、第１の方向指示値Ｄ３Ａ５ｘ、第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができない場合がある。
【００６７】
同様に水平方向の縞模様が存在した場合、第１の方向指示値Ｄ３Ａ５ｘは０に近い値を、第２の方向指示値Ｄ３Ａ５ｙは１に近い値をとるべきであるが、変化量推定値Ｄ３Ａ５１、Ｄ３Ａ５２からは、第１の方向指示値Ｄ３Ａ５ｘ、第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができない場合がある。
【００６８】
ここで、図７（Ａ）のように垂直方向の縞模様が存在する場合、あるいは垂直方向に相関が強い場合に、低解像度画像Ｄ０１の各画素に対して計算される画素値の二次微分を考えると、垂直方向の絶対値は小さな値となるが、水平方向の二次微分の絶対値はある程度大きな値になる。よって注目位置の周辺が垂直方向の縞模様であった場合、注目位置周辺に存在する低解像度画像Ｄ０１の各画素に対して計算される水平方向の二次微分の絶対値と垂直方向の二次微分の絶対値を比較すると、水平方向の二次微分の絶対値の方が大きい画素の数が多い。よって第１のカウント値Ｄ３Ａ５３２Ｎ１の方が第２のカウント値Ｄ３Ａ５３２Ｎ２より大きな値となる。
【００６９】
図７（Ｂ）のように水平方向の縞模様がある場合、あるいは水平方向に相関が強い場合は、同様の議論から、第２のカウント値Ｄ３Ａ５３２Ｎ２の方が第１のカウント値Ｄ３Ａ５３２Ｎ１より大きな値となる。
【００７０】
図７（Ｃ）のように画素値の変化が見られない場合、あるいは相関の強い特定の方向が存在しない場合は、注目位置周辺の画素に対して計算される画像の水平方向及び垂直方向とも二次微分の絶対値はあまり大きな値にならず、どちらが大きな値をとるかも偶然的に決まる。よって、注目位置周辺の画素に対して計算される水平方向の二次微分の絶対値と垂直方向の二次微分の絶対値を比較すると、垂直方向の二次微分の絶対値の方が大きい画素の数と水平方向の二次微分の絶対値の方が大きい画素の数とに大きな差はつかない。よって第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２はほぼ同じ値となる。
【００７１】
よって、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の少なくとも一方が小さな値の時、第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２を用いることで、垂直方向に相関が強いか水平方向に相関が強いか、相関の強い特定の方向が存在しないか判断できる。
【００７２】
すなわち、第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２の大小関係から、垂直方向に相関が強いか水平方向に相関が強いか判断することで、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができる。つまり、Ｄ３Ａ５３２Ｎ１＞Ｄ３Ａ５３２Ｎ２の場合は垂直方向に相関が強いので第１の方向指示値Ｄ３Ａ５ｘを「１」、第２の方向指示値Ｄ３Ａ５ｙを「０」とし、逆にＤ３Ａ５３２Ｎ１＜Ｄ３Ａ５３２Ｎ２の場合は水平方向に相関が強いので第１の方向指示値Ｄ３Ａ５ｘを「０」、第２の方向指示値Ｄ３Ａ５ｙを「１」とする。また、補間係数Ｄ３Ａは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙにもとづいてその値が変化するので、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることは、補間係数Ｄ３Ａを適切に求めることにつながる。
【００７３】
なお、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを上記のように求めるのに加え、相関の強い特定の方向が存在しない場合、すなわち、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差があまり大きくない場合、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙをともにゼロとする理由は、後述するように、このようにすることで、相関の強い特定の方向が存在しない場合、注目位置周辺の画素に対して等しく重み付けするように補間係数を求めることが出来るからである。
【００７４】
以上のように、低解像度画像Ｄ０１の画素値の変化の水平方向の二次微分の絶対値、垂直方向の二次微分の絶対値を用いることで、相関の強い方向をより正確に求めることが可能になる。
【００７５】
なお、本実施の形態では、第１の変化量Ｄ３Ａ１として低解像度画像Ｄ０１の画素値の変化の水平方向の一次微分、第２の変化量Ｄ３Ａ２として低解像度画像Ｄ０１の画素値の変化の垂直方向の一次微分、第３の変化量Ｄ３Ａ３として低解像度画像Ｄ０１の画素値の変化の水平方向の二次微分の絶対値、第４の変化量Ｄ３Ａ４として低解像度画像Ｄ０１の画素値の変化の垂直方向の二次微分の絶対値を使ったが、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２、第３の変化量Ｄ３Ａ３、第４の変化量Ｄ３Ａ４として利用可能な値は上記の例に限らない。
【００７６】
第１の変化量Ｄ３Ａ１と第３の変化量Ｄ３Ａ３、および第２の変化量Ｄ３Ａ２と第４の変化量Ｄ３Ａ４が異なる性質のもの、あるいは異なる方法によって求められるものであればよい。第１の変化量Ｄ３Ａ１と第３の変化量Ｄ３Ａ３、および第２の変化量Ｄ３Ａ２と第４の変化量Ｄ３Ａ４として異なる性質を持つものを用いることで、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２によって相関の強い方向を判定するのが困難な場合でも、第３の変化量Ｄ３Ａ３、第４の変化量Ｄ３Ａ４によって相関の強い方向を判定することが可能となる。つまり、より正確に相関の強い方向を求めることが出来る。
【００７７】
補間係数Ｄ３Ａについて述べる。
相関が強い方向に位置する画素ほど相関の強い画素であるとして扱われ、より大きな値の補間係数Ｄ３Ａが与えられる。
【００７８】
注目位置の水平座標をｓ、垂直座標をｔ、注目位置における第１の方向指示値Ｄ３Ａ５ｘをＤ３Ａ５ｘ（ｓ，ｔ）、第２の方向指示値Ｄ３Ａ５ｙをＤ３Ａ５ｙ（ｓ，ｔ）で表した場合、注目位置を通る等高線に接する直線は２次元ベクトル（Ｄ３Ａ５ｘ（ｓ，ｔ），Ｄ３Ａ５ｙ（ｓ，ｔ））に直交する直線であるので、以下の式で表される。
【数１７】
0005653184.tif 000018
即ち、上記の式（１７）を満たす（ｘ，ｙ）の集合が、上記の「直交する直線」である。また、水平座標がｐ、垂直座標がｑで表される位置からこの直線に対する距離は
【数１８】
0005653184.tif 000019
で計算できる。ここで第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定される場合を除き、分母の値は１となるので、式（１８）は式（１３）に示したｒと一致する。
【００７９】
注目位置近傍では、注目位置を通る等高線を、注目位置を通る等高線に接する直線で近似的することが出来る。したがって式（１３）に示したｒは注目位置を通る等高線からの距離の近似値といえる。
【００８０】
補間係数Ｄ３Ａはｒに対して単調に減少する関数によって与えられるので、注目位置を通る等高線からの距離が長くなるほどその値が小さくなる。また、注目位置と同じ画素値になる点が等高線で結ばれているので、等高線からの距離が長くなるほど、注目位置との相関は弱くなる。
【００８１】
よって、補間係数Ｄ３Ａは相関が弱い方向に位置する画素ほど小さな値になるよう求められている。言い換えると、相関が強い方向に位置する画素ほど大きな値となるよう求められている。すなわち、第１の方向指示値Ｄ３Ａ５ｘ、第２の方向指示値Ｄ３Ａ５ｙから補間係数Ｄ３Ａを求めることで、補間係数Ｄ３Ａを計算する際に、注目位置との相関を考慮することができる。
【００８２】
なお、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定される場合、上記の議論は成り立たないが、この場合、ｒの値は、ｐ、ｑの値によらず常にゼロである。よって補間係数は全ての画素に対して同じ値が用いられる。
一方、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定されるのは、相関の強い特定の方向が存在しない場合である。よって補間係数としても、特定の方向に対して大きな値にする必要はない。逆に言えば相関の強い方向がない場合、全ての方向に対して等しく重み付けできるよう補間係数を求めることが出来る。
【００８３】
以上に説明したように、本発明による画像処理装置では、注目画素の画素値を注目画素周辺に位置する画素の画素値を補間して求める際、注目画素に対して相関の強い方向を判断し、その結果にしたがって補間係数を求めるので、注目画素との相関が強い画素に対する補間係数ほどより大きな重みを持つ。また、上記のように定められる補間係数を用いた補間演算を行うので、注目画素に対する画素値をより正確に求めることが出来る。
【００８４】
例えば、注目画素の近くにエッジのように輝度値が大きく変わる部分があったとする。この場合、注目画素の近傍には輝度の低い画素が集まっている領域と輝度の高い画素が集まっている領域が存在する。以下、仮に注目画素が輝度の低い領域に含まれているとする。
【００８５】
注目画素に対する画素値を注目画素周辺の画素値を補間して求める際に、注目画素との相関の強さを考慮せずに注目画素周辺の画素に対する補間係数を求めた場合、輝度の高い画素も輝度の低い画素も同じ程度に注目画素の画素値に影響する。その結果、注目画素の画素値は周囲にある輝度の低い画素に比べて高い値となり、違和感が生じる。
【００８６】
一方、注目画素に対する画素値を注目画素周辺の画素値を補間して求める際に、注目画素との相関の強さを考慮して補間係数を求めた場合、輝度の高い画素に対する重みづけは小さくなり、輝度が低い画素に対する重み付けは大きくなる。よって注目画素の画素値は周囲にある輝度の低い画素と同程度の値となり、上記のような違和感が生じない。
【００８７】
なお、注目画素に対する相関の求め方は上記の例に留まらない。一般的に注目画素から離れた位置にある画素は、注目画素と異なる画素値をとる可能性が高い。よって、式（１３）に示したｒに加え、注目位置からの距離にも応じて補間係数が変わるようにしてもよい。例えば、注目位置からの距離が遠くなるほど補間係数が小さくなるようにしてもよい。注目画素からの距離をも考慮することで、注目画素とその周囲の画素との相関がより厳密に考慮され、注目画素に対する画素値もより適切に求められる。
なお、式（１３）に示したｒは、（ｐ−ｓ）、（ｑ−ｔ）に依存し、式（１４）のｆ（ｒ）は、ｒの増加に対して減少するので、距離が大きくなるほど補間係数が小さくなる。従って、ｒに加えて注目画素からの距離にも応じて補間係数が小さくなるようにすると、注目画素からの距離を二重に考慮することになる。
【００８８】
また、第１の変化量Ｄ３Ａ１は低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分を近似的に計算できる方法であればよく、式（３）に限定されない。
【００８９】
同様に、第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の垂直方向に関する一次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の垂直方向に関する一次微分を近似的に計算できる方法であればよく、式（４）に限定されない。
【００９０】
また、上記の説明では、第１の変化量Ｄ３Ａ１と第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分と垂直方向に関する一次微分の組み合わせであったが、両者は異なる方向に関する画素値の変化の一次微分の組み合わせであればよい。よって、一般化して言えば、第１の変化量Ｄ３Ａ１は低解像度画像Ｄ０１の画素値の変化の第１の方向に関する一次微分、第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の第２の方向に関する一次微分であればよい。
【００９１】
また、第３の変化量Ｄ３Ａ３は低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分を近似的に計算できる方法であればよく、式（５）に限定されない。
【００９２】
同様に、第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の垂直方向に関する二次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の垂直方向に関する二次微分を近似的に計算できる方法であればよく、式（６）に限定されない。
【００９３】
さらに、上記の説明では、第３の変化量Ｄ３Ａ３と第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分と垂直方向に関する二次微分の組み合わせであったが、両者は異なる方向に関する画素値の変化の二次微分の組み合わせであればよい。また、第３の変化量Ｄ３Ａ３の変化の方向、第４の変化量の変化の方向は、それぞれ第１の変化量の変化の方向（第１の方向）、第２の変化量の変化の方向（第２の方向）と同じでなくても良い。よって、一般化して言えば、第３の変化量Ｄ３Ａ３は低解像度画像Ｄ０１の画素値の変化の第３の方向に関する二次微分、第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の第４の方向に関する二次微分であればよい。
【００９４】
さらにまた、第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値から求めていたが、低解像度画像Ｄ０２の画素値から求めてもよい。なお、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２を低解像度画像Ｄ０２の画素値から求める際、本実施の形態に加えるべき変更内容は当業者にとって自明である。
同様に、第３の変化量Ｄ３Ａ３及び第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値から求めていたが、低解像度画像Ｄ０２の画素値から求めてもよい。なお、第３の変化量Ｄ３Ａ３、第４の変化量Ｄ３Ａ４を低解像度画像Ｄ０２の画素値から求める際、本実施の形態に加えるべき変更内容は当業者にとって自明である。
【００９５】
なお、本実施の形態では２枚の低解像度画像（Ｄ０１、Ｄ０２）を合成し、１枚の高解像度画像を出力しているが、合成する低解像度画像の枚数は２枚に限定されない。
すなわち、本発明の画像処理装置は、第１から第Ｎ（Ｎは２以上の整数）の低解像度画像（Ｄ０１〜Ｄ０Ｎ）から、高解像度画像（Ｄ３０）を生成するものであって、
位置ずれ量算出部１０は、前記第１の低解像度画像と第Ｊ（Ｊは２以上、Ｎ以下のいずれかの整数）の低解像度画像の間の位置ずれ量Ｄ１０を求め、
合成部２０は、第１から第Ｎの低解像度画像の各画素を、位置ずれ量Ｄ１０に基づいて共通平面上に配列した各画素のいずれかに与えた合成画素配列Ｄ２０Ａと、共通平面上に存在する各画素に、前記第１から前記第Ｎの低解像度画像によってその画素値が与えられているか否かを示す有効画素指示データＤ２０Ｂを求め、
画素値算出部３０は、前記合成画素配列の各画素の画素値と前記有効画素指示データに基づき、前記共通平面上に設定される注目画素ごとに、前記注目画素を含む様に設定される注目領域内に存在する画素が持つ画素値を用いた補間演算から、前記高解像度画像内の各画素の画素値を求める。
【００９６】
さらに、画素値算出部３０内の補間係数算出部３Ａは、注目領域内に存在する画素のうち、注目画素との相関が強い画素に対するものほど大きな値となる補間係数Ｄ３Ａを求める。
なお、補間係数Ｄ３Ａは第１の低解像度画像から第Ｎの低解像度画像のいずれか１枚に対して、本実施の形態で補間係数算出部３Ａに関して説明した方法を適用することで求めることができる。
【００９７】
実施の形態２．
図８は本発明の実施の形態２による画像処理方法を実行するための演算装置を表す。本発明の画像処理方法は低解度画像Ｄ０１、低解像度画像Ｄ０２を合成し、高解像度画像Ｄ３０を生成する。
【００９８】
本発明による画像処理方法を実行するための演算装置は入力インターフェースＩＦ１、出力インターフェースＩＦ２、プロセッサＣＰＵ１、プログラムメモリＭＥＭ１、及びデータメモリＭＥＭ２とこれらを接続するデータバスＢＵＳ１を備える。
プロセッサＣＰＵ１はプログラムメモリＭＥＭ１に記憶されたプログラムに従って動作する。動作の過程で発生する様々なデータはデータメモリＭＥＭ２に記憶される。低解度画像Ｄ０１、低解像度画像Ｄ０２は入力インターフェースＩＦ１を介して演算装置へ入力される。本発明による画像処理方法によって生成される高解像度画像Ｄ３０は出力インターフェースＩＦ２を介して演算装置の外部へ出力される。
【００９９】
図９は本発明による画像処理方法の処理手順を表す図である。本発明による画像処理方法は、位置ずれ量算出ステップＳＴ１０、合成ステップＳＴ２０、及び画素値算出ステップＳＴ３０を含む。
【０１００】
位置ずれ量算出ステップＳＴ１０は、実施の形態１で説明した位置ずれ量算出部１０と同様の処理によって、低解像度画像Ｄ０１に対して低解像度画像Ｄ０２がどの程度位置ずれを起こしているかを算出し、算出した結果を位置ずれ量Ｄ１０として出力する。
【０１０１】
合成ステップＳＴ２０は、実施の形態１で説明した合成部２０と同様の処理によって、位置ずれ量Ｄ１０に基づいて低解像度画像Ｄ０１および低解像度画像Ｄ０２を合成した結果得られる合成画素配列Ｄ２０Ａおよび有効画素指示データＤ２０Ｂを出力する。
【０１０２】
画素値算出ステップＳＴ３０は、補間係数算出ステップＳＴ３Ａ、及び補間演算ステップＳＴ３Ｂを含み、高解像度画像Ｄ３０を構成する各画素に対する画素値を補間演算によって求める。
【０１０３】
補間係数算出ステップＳＴ３Ａについて述べる。
【０１０４】
図１０は、補間係数算出ステップＳＴ３Ａの処理手順を表す図である。補間係数算出ステップＳＴ３Ａは、第１の変化量算出ステップＳＴ３Ａ１、第２の変化量算出ステップＳＴ３Ａ２、第３の変化量算出ステップＳＴ３Ａ３、第４の変化量算出ステップＳＴ３Ａ４、方向算出ステップＳＴ３Ａ５、及び係数算出ステップＳＴ３Ａ６を含む。
【０１０５】
第１の変化量算出ステップＳＴ３Ａ１は、実施の形態１で説明した第１の変化量算出部３Ａ１と同様の処理で低解像度画像Ｄ０１の各画素について水平方向に関する画素値の一次微分を計算し、第１の変化量Ｄ３Ａ１を求める。
【０１０６】
第２の変化量算出ステップＳＴ３Ａ２は、実施の形態１で説明した第２の変化量算出部３Ａ２と同様の処理で低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の一次微分を計算し、第２の変化量Ｄ３Ａ２を求める。
【０１０７】
第３の変化量算出ステップＳＴ３Ａ３は、実施の形態１で説明した第３の変化量算出部３Ａ３と同様の処理で低解像度画像Ｄ０１の各画素について水平方向に関する画素値の二次微分を計算し、第３の変化量Ｄ３Ａ３を求める。
【０１０８】
第４の変化量算出ステップＳＴ３Ａ４は、実施の形態１で説明した第４の変化量算出部３Ａ４と同様の処理で低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の二次微分を計算し、第４の変化量Ｄ３Ａ４を求める。
【０１０９】
方向算出ステップＳＴ３Ａ５について図１１を用いて説明する。
図１１は方向算出ステップＳＴ３Ａ５の処理手順を表す図である。方向算出ステップＳＴ３Ａ５は、第１の変化量推定ステップＳＴ３Ａ５１、第２の変化量推定ステップＳＴ３Ａ５２、及び変化量比較ステップＳＴ３Ａ５３を含む。
【０１１０】
第１の変化量推定ステップＳＴ３Ａ５１は、実施の形態１で説明した第１の変化量推定部３Ａ５１と同様の処理で第１の変化量推定値Ｄ３Ａ５１を求める。
【０１１１】
第２の変化量推定ステップＳＴ３Ａ５２は、実施の形態１で説明した第２の変化量推定部３Ａ５２と同様の処理で第１の変化量推定値Ｄ３Ａ５１を求める。
【０１１２】
変化量比較ステップＳＴ３Ａ５３について図１２を用いて説明する。
図１２は変化量比較ステップＳＴ３Ａ５３の処理手順を表す図である。変化量比較ステップＳＴ３Ａ５３は、第１の比較判定ステップＳＴ３Ａ５３１、第２の比較判定ステップＳＴ３Ａ５３２、及び方向指示値ステップＳＴ３Ａ５３３を含む。
【０１１３】
第１の比較判定ステップＳＴ３Ａ５３１は、実施の形態１の第１の比較判定部３Ａ５３１と同様の処理で第１の比較結果Ｄ３Ａ５３１を求める。
【０１１４】
第２の比較判定ステップＳＴ３Ａ５３２は、実施の形態１の第２の比較判定部３Ａ５３２と同様の処理で計算した第１のカウント値Ｄ３Ａ５３２Ｎ１および第２のカウント値Ｄ３Ａ５３２Ｎ２からなる第２の比較結果Ｄ３Ａ５３２を求める。
【０１１５】
方向指示値計算ステップＳＴ３Ａ５３３は、実施の形態１の方向指示値計算部３Ａ５３３と同様の処理で方向指示データＤ３Ａ５を求める。
【０１１６】
変化量比較ステップＳＴ３Ａ５３の動作は以上の通りであり、その動作は、実施の形態１で説明した変化量比較部３Ａ５３と同様の処理である。
また、方向算出ステップＳＴ３Ａ５の動作は以上の通りであり、その動作は、実施の形態１で説明した方向算出部３Ａ５と同様である。
【０１１７】
係数算出ステップＳＴ３Ａ６は、実施の形態１で説明した係数算出部３Ａ６と同様の処理で補間係数Ｄ３Ａを計算する。
【０１１８】
補間係数算出ステップＳＴ３Ａの動作は以上の通りであり、その動作は、実施の形態１で説明した補間係数算出部３Ａと同様である。
【０１１９】
補間演算ステップＳＴ３Ｂについて述べる。
補間演算ステップＳＴ３Ｂは実施の形態１で説明した補間演算部３Ｂと同様の処理で高解像度画像Ｄ３０の各画素に対する画素値を求める。
【０１２０】
本発明の実施の形態２による画像処理方法の動作は以上の通りである。本発明の画像処理方法は本発明の実施の形態１の画像処理装置と同様の処理を行うことが出来るので、本発明の実施の形態１の画像処理装置と同様の効果をもつ。また、本発明の実施の形態１の画像処理装置に対する変形は、本発明の実施の形態２による画像処理方法にも適用できる。
【符号の説明】
【０１２１】
１０  位置ずれ量算出部、  ２０  合成部、  ３０  画素値算出部、  ３Ａ  補間係数算出部、  ３Ｂ  補間演算部、  Ｄ０１  低解像度画像、  Ｄ０２  低解像度画像、  Ｄ１０  位置ずれ量、  Ｄ２０Ａ  合成画素配列、  Ｄ２０Ｂ  有効画素指示データ、  Ｄ３Ａ  補間係数、  Ｄ３０  高解像度画像。
【図１】
0005653184.tif 000020
【図２】
0005653184.tif 000021
【図３】
0005653184.tif 000022
【図４】
0005653184.tif 000023
【図５】
0005653184.tif 000024
【図６】
0005653184.tif 000025
【図７】
0005653184.tif 000026
【図８】
0005653184.tif 000027
【図９】
0005653184.tif 000028
【図１０】
0005653184.tif 000029
【図１１】
0005653184.tif 000030
【図１２】
0005653184.tif 000031