(57)【要約】【課題】簡易な構成でＩＰ変換処理とスケーラ処理の両方に対して適切なエッジ検出結果を得ることができ、ひいては高画質な画像データを得ることができる技術を提供する。【解決手段】本発明の画像処理装置は、第１のＩＰ変換処理により入力画像データから第１画像データを生成する第１生成手段と、画像の動きの有無を入力画像データに基づいて判断する判断手段と、ブロックマッチングにより第１画像データからエッジを検出する検出手段と、検出手段の検出結果を考慮した第２のＩＰ変換処理により入力画像データから第２画像データを生成する第２生成手段と、検出手段の検出結果を考慮したスケーラ処理により、第２画像データから第３画像データを生成する第３生成手段と、を有し、検出手段は、判断手段の判断結果に応じた位置関係を有するブロックを設定する。【選択図】図１
2016184881.tif 000002
【特許請求の範囲】
【請求項１】
第１のＩＰ変換処理により、インターレース方式の入力画像データから、プログレッシブ方式の第１画像データを生成する第１生成手段と、
画像の動きの有無を前記入力画像データに基づいて判断する判断手段と、
２つの参照ブロックの水平方向の位置を変えながら前記２つの参照ブロック内の画像を互いに比較するブロックマッチングを行うことにより、前記第１画像データからエッジを検出する検出手段と、
前記判断手段で画像の動きが無いと判断された場合に、フィールド間補間によって補間画素を生成し、且つ、前記判断手段で画像の動きがあると判断された場合に、前記検出手段の検出結果を考慮したフィールド内補間によって補間画素を生成する第２のＩＰ変換処理により、前記入力画像データから、プログレッシブ方式の第２画像データを生成する第２生成手段と、
前記検出手段の検出結果を考慮したスケーラ処理により、前記第２画像データから、前記第２画像データの画像サイズを変更した第３画像データを生成する第３生成手段と、
を有し、
前記検出手段は、前記判断手段で画像の動きが無いと判断された場合に、前記２つの参照ブロックとして２つの第１ブロックを設定し、前記判断手段で画像の動きがあると判断された場合に、前記２つの参照ブロックとして、前記２つの参照ブロック間の垂直方向の位置関係が前記２つの第１ブロックと異なる２つの第２ブロックを設定する
ことを特徴とする画像処理装置。
【請求項２】
前記２つの第１ブロックは、前記垂直方向に１ライン分だけ互いに離れており、
前記２つの第２ブロックは、前記垂直方向に２ライン分だけ互いに離れている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記２つの第１ブロックの一方の垂直方向の位置は、前記２つの第２ブロックの一方の垂直方向の位置と同じであり、
前記２つの第１ブロックの他方の垂直方向の位置は、前記２つの第２ブロックの他方の垂直方向の位置から１ライン分だけずれている
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記入力画像データの解像度が低いほど狭い参照範囲内で前記２つの参照ブロックの水平方向の位置を変えるブロックマッチングを行う
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記判断手段は、画像内の複数の注目位置のそれぞれについて、その注目位置における画像の動きの有無を判断し、
前記検出手段は、前記複数の注目位置のそれぞれについて、その注目位置における画像の動きの有無の判断結果に応じた２つの参照ブロックを用いて、当該注目位置におけるエッジの有無を判断する
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記判断手段は、
１つ以上の画素を含む判断領域毎に、その判断領域における画像の動きの有無を、前記入力画像データに基づいて判断し、
各判断領域における画像の動きの有無の判断結果に基づいて、各注目位置における画像の動きの有無を判断する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記検出手段は、
前記注目位置である対象位置における画像の動きの有無の判断結果と、前記対象位置を中心とする閾値範囲内に存在する他の注目位置である周辺位置の判断結果と、を代表する代表結果に、前記対象位置における画像の動きの有無の判断結果を補正する補正処理を、各注目位置について行い、
各注目位置の代表結果に基づいて、前記第１画像データからエッジを検出する
ことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記ブロックマッチングでは、参照範囲内で前記２つの参照ブロックの水平方向の位置が変更され、
前記参照範囲のサイズは変更可能であり、
前記検出手段は、前記参照範囲が狭いほど広い範囲を、前記閾値範囲として使用する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記判断手段は、画像の動きの大きさを判断し、
前記検出手段は、
前記２つの第１ブロックを用いた第１のブロックマッチングと、前記２つの第２ブロックを用いた第２のブロックマッチングと、を行い、
前記判断手段で判断された大きさが小さいほど前記第１のブロックマッチングの結果に近く、且つ、前記判断手段で判断された大きさが大きいほど前記第２のブロックマッチングの結果に近い値が得られるように、前記第１のブロックマッチングの結果と、前記第２のブロックマッチングの結果と、の重み付け合成を行い、
前記重み付け合成の結果に基づいて、エッジを検出する
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第１のＩＰ変換処理は、前記判断手段で画像の動きが無いと判断された場合に、フィールド間補間によって補間画素を生成し、且つ、前記判断手段で画像の動きがあると判断された場合に、前記検出手段の検出結果を考慮しないフィールド内補間によって補間画素を生成するＩＰ変換処理である
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記入力画像データがプログレッシブ方式の画像データである場合に、
前記判断手段は、画像の動きが無いと判断し、
前記検出手段は、前記入力画像データからエッジを検出し、
前記第３生成手段は、前記スケーラ処理により、前記入力画像データから、前記入力画像データの画像サイズを変更した画像データを生成する
ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
第１のＩＰ変換処理により、インターレース方式の入力画像データから、プログレッシブ方式の第１画像データを生成する第１生成ステップと、
画像の動きの有無を前記入力画像データに基づいて判断する判断ステップと、
２つの参照ブロックの水平方向の位置を変えながら前記２つの参照ブロック内の画像を互いに比較するブロックマッチングを行うことにより、前記第１画像データからエッジを検出する検出ステップと、
前記判断ステップで画像の動きが無いと判断された場合に、フィールド間補間によって補間画素を生成し、且つ、前記判断ステップで画像の動きがあると判断された場合に、前記検出ステップの検出結果を考慮したフィールド内補間によって補間画素を生成する第２のＩＰ変換処理により、前記入力画像データから、プログレッシブ方式の第２画像データを生成する第２生成ステップと、
前記検出ステップの検出結果を考慮したスケーラ処理により、前記第２画像データから
、前記第２画像データの画像サイズを変更した第３画像データを生成する第３生成ステップと、
を有し、
前記検出ステップでは、前記判断ステップで画像の動きが無いと判断された場合に、前記２つの参照ブロックとして２つの第１ブロックを設定し、前記判断ステップで画像の動きがあると判断された場合に、前記２つの参照ブロックとして、前記２つの参照ブロック間の垂直方向の位置関係が前記２つの第１ブロックと異なる２つの第２ブロックを設定する
ことを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、従来よりも解像度の高い高解像度画像（例えば、水平方向３８４０画素×垂直方向２１６０画素）を表示する画像表示装置の普及が進んでいる。高解像度画像のうち水平方向の画素数が約４０００個の画像は、一般的に、「４ｋ画像」と呼ばれている。また、画像表示装置に入力される入力画像データの解像度が画像表示装置の画面解像度と異なる場合、入力画像データの解像度を画像表示装置の画面解像度と同じ解像度に変換する必要がある。
【０００３】
画像データの解像度を変換する画像処理には、ＩＰ（インターレース−プログレッシブ）変換処理、スケーラ処理、等がある。ＩＰ変換は、インターレース画像データをプログレッシブ画像データへ変換する画像処理である。インターレース画像データはインターレース方式の画像データであり、プログレッシブ画像データはプログレッシブ方式の画像データである。スケーラ処理は、入力画像データの画像サイズを変更（拡大または縮小）する画像処理である。これらの画像処理を一般的な手法（例えばバイキュービック法）を用いて行うと、ジャギーと呼ばれるギザギザが斜めエッジ（斜め方向のエッジ）の領域に発生し、画質が著しく劣化する。
【０００４】
ジャギーの発生を抑制する技術は、例えば、特許文献１に開示されている。特許文献１に開示の技術では、インターレース画像データから斜めエッジが検出され、斜めエッジの領域に対して、斜めエッジの傾斜角度（斜めエッジに沿った方向）に応じた画素を用いて補間画素が生成される。
【０００５】
インターレース画像データにＩＰ変換処理とスケーラ処理を施す場合、一般的に、ＩＰ変換処理の後にスケーラ処理が行われる。ここで、１つのエッジ検出回路が常に同じ方法でエッジを検出し、そのエッジ検出結果（エッジの検出結果）に基づいてＩＰ変換処理とスケーラ処理が行われる場合を考える。ＩＰ変換処理とスケーラ処理とでは、画素間を補う補間画素の生成位置が異なるため、エッジを検出する際に参照すべき複数の領域間の位置関係も異なる。そのため、１つのエッジ検出回路を用いた上記場合では、ＩＰ変換処理とスケーラ処理の一方に対して適切なエッジ検出結果を得ることはできたとしても、ＩＰ変換処理とスケーラ処理の両方に対して適切なエッジ検出結果を得ることはできない。その結果、ジャギーを十分に低減できなかったり、ジャギーがより目立ったりしてしまう。例えば、斜めエッジの領域に対して、ＩＰ変換処理では斜めエッジの方向に応じた画素を用いて補間画素が生成できたとしても、スケーラ処理では斜めエッジの方向に応じた画素を用いて補間画素が生成できないことがある。その結果、ジャギーを十分に低減できなかったり、ジャギーがより目立ったりしてしまう。このような画質の劣化は、一般的に、スケーラ処理の拡大率が大きいほど大きい（目立つ）。次に、ＩＰ変換処理用のエッジ検出処理（エッジを検出する処理）を行うエッジ検出回路と、スケーラ処理用のエッジ検出処理を行うエッジ検出回路と、の２つのエッジ検出回路を用いた場合を考える。この場合には、ＩＰ変換処理に対して適切なエッジ検出結果と、スケーラ処理に対して適切なエッジ検出結果と、を得ることができる。しかしながら、回路規模や処理負荷が増大してしまう。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、簡易な構成でＩＰ変換処理とスケーラ処理の両方に対して適切なエッジ検出結果を得ることができ、ひいては高画質な画像データを得ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、
第１のＩＰ変換処理により、インターレース方式の入力画像データから、プログレッシブ方式の第１画像データを生成する第１生成手段と、
画像の動きの有無を前記入力画像データに基づいて判断する判断手段と、
２つの参照ブロックの水平方向の位置を変えながら前記２つの参照ブロック内の画像を互いに比較するブロックマッチングを行うことにより、前記第１画像データからエッジを検出する検出手段と、
前記判断手段で画像の動きが無いと判断された場合に、フィールド間補間によって補間画素を生成し、且つ、前記判断手段で画像の動きがあると判断された場合に、前記検出手段の検出結果を考慮したフィールド内補間によって補間画素を生成する第２のＩＰ変換処理により、前記入力画像データから、プログレッシブ方式の第２画像データを生成する第２生成手段と、
前記検出手段の検出結果を考慮したスケーラ処理により、前記第２画像データから、前記第２画像データの画像サイズを変更した第３画像データを生成する第３生成手段と、
を有し、
前記検出手段は、前記判断手段で画像の動きが無いと判断された場合に、前記２つの参照ブロックとして２つの第１ブロックを設定し、前記判断手段で画像の動きがあると判断された場合に、前記２つの参照ブロックとして、前記２つの参照ブロック間の垂直方向の位置関係が前記２つの第１ブロックと異なる２つの第２ブロックを設定する
ことを特徴とする画像処理装置である。
【０００９】
本発明の第２の態様は、
第１のＩＰ変換処理により、インターレース方式の入力画像データから、プログレッシブ方式の第１画像データを生成する第１生成ステップと、
画像の動きの有無を前記入力画像データに基づいて判断する判断ステップと、
２つの参照ブロックの水平方向の位置を変えながら前記２つの参照ブロック内の画像を互いに比較するブロックマッチングを行うことにより、前記第１画像データからエッジを検出する検出ステップと、
前記判断ステップで画像の動きが無いと判断された場合に、フィールド間補間によって補間画素を生成し、且つ、前記判断ステップで画像の動きがあると判断された場合に、前記検出ステップの検出結果を考慮したフィールド内補間によって補間画素を生成する第２のＩＰ変換処理により、前記入力画像データから、プログレッシブ方式の第２画像データを生成する第２生成ステップと、
前記検出ステップの検出結果を考慮したスケーラ処理により、前記第２画像データから、前記第２画像データの画像サイズを変更した第３画像データを生成する第３生成ステップと、
を有し、
前記検出ステップでは、前記判断ステップで画像の動きが無いと判断された場合に、前記２つの参照ブロックとして２つの第１ブロックを設定し、前記判断ステップで画像の動きがあると判断された場合に、前記２つの参照ブロックとして、前記２つの参照ブロック間の垂直方向の位置関係が前記２つの第１ブロックと異なる２つの第２ブロックを設定す
る
ことを特徴とする画像処理方法である。
【００１０】
本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
【発明の効果】
【００１１】
本発明によれば、簡易な構成でＩＰ変換処理とスケーラ処理の両方に対して適切なエッジ検出結果を得ることができ、ひいては高画質な画像データを得ることができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る画像処理装置の機能構成の一例を示す図
【図２】実施例１に係る第１のＩＰ変換処理の一例を示す図
【図３】実施例１に係る第１のＩＰ変換処理の具体例を示す図
【図４】実施例１に係る簡易プログレッシブ画像データの一例を示す図
【図５】実施例１に係る簡易プログレッシブ画像データの一例を示す図
【図６】実施例１に係るフィールド内補間画素生成部の構成の一例を示す図
【図７】実施例１に係る第１選択部と第２選択部の処理の一例を示す図
【図８】実施例１に係る第１選択部と第２選択部の処理の一例を示す図
【図９】実施例１に係るスケーラ処理の一例を示す図
【図１０】実施例１に係るエッジ検出部の構成の一例を示す図
【図１１】実施例１に係る参照ブロックペアの一例を示す図
【図１２】実施例１に係るＳＡＤ値の分布の一例を示す図
【図１３】実施例２に係るエッジ検出部の構成の一例を示す図
【図１４】実施例２に係る解像度情報とブロックサイズの対応関係の一例を示す図
【図１５】実施例３に係るエッジ検出部の構成の一例を示す図
【図１６】実施例４に係るエッジ検出部の構成の一例を示す図
【発明を実施するための形態】
【００１３】
＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及び画像処理方法について、図面を用いて説明する。
【００１４】
図１は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。図１に示すように、本実施例に係る画像処理装置は、第１フィールドメモリ１０１、第２フィールドメモリ１０２、動き検出部１０３、簡易プログレッシブ画像生成部１０４、エッジ検出部１０５、フィールド内補間画素生成部１０６、補間画素生成部１０７、倍速変換部１０８、及び、スケーラ部１０９を有する。
【００１５】
第１フィールドメモリ１０１と第２フィールドメモリ１０２は、フィールド単位で装置に入力されるインターレース画像データ（インターレース方式の入力画像データ）を蓄積し、当該インターレース画像データを１フィールド分だけ遅延させて出力する。即ち、画像処理装置にＮ番目のフィールド（Ｎフィールド）の画像データＦＤ０が入力された時に、第１フィールドメモリ１０１からは、Ｎ−１番目のフィールド（Ｎ−１フィールド）の画像データＦＤ１が出力される。第２フィールドメモリ１０２からは、Ｎ−２番目のフィールド（Ｎ−２フィールド）の画像データＦＤ２が出力される。本実施例では、Ｎ−１フィールドの画像データＦＤ１に対して補間画素が生成される。本実施例では、ＩＰ変換処理とスケーラ処理の２つの画像処理で補間画素が生成される。ＩＰ変換は、インターレース画像データをプログレッシブ画像データ（プログレッシブ方式の画像データ）へ変換する画像処理である。スケーラ処理は、画像データの画像サイズを変更（拡大または縮小）
する画像処理である。以後、Ｎフィールドの画像データを「Ｎフィールドデータ」、Ｎ−１フィールドの画像データを「Ｎ−１フィールドデータ」、Ｎ−２フィールドの画像データを「Ｎ−２フィールドデータ」と記載する。また、ＩＰ変換処理で生成される補間画素を「ＩＰ補間画素」、スケーラ処理で生成される補間画素を「ＳＣ補間画素」と記載する。
【００１６】
動き検出部１０３は、画像の動きの有無を入力画像データに基づいて判断する。本実施例では、動き検出部１０３は、以下の第１判断処理と第２判断処理を行う。
【００１７】
（第１判断処理）
動き検出部１０３は、Ｎ−１フィールドデータＦＤ０の複数のＩＰ補間位置のそれぞれについて、そのＩＰ補間位置での画像の動き（画像の変化）を検出する。ＩＰ補間位置は、ＩＰ補間画素の生成位置である。本実施例では、動き検出部１０３は、ＮフィールドデータＦＤ０とＮ−２フィールドデータＦＤ２を用いて、ＩＰ補間位置での動きを検出する。具体的には、動き検出部１０３は、複数のＩＰ補間位置のそれぞれについて、ＮフィールドデータＦＤ０とＮ−２フィールドデータＦＤ２との間の画素値の差分（絶対値）を閾値と比較することにより、画像の動きの有無を判断する。動き検出部１０３は、ＮフィールドデータＦＤ０とＮ−２フィールドデータＦＤ２との間の画素値（ＩＰ補間位置における画素値）の差分が閾値以上である場合に、画像の動きがある「動き情報ＭＶ＝１（動き）」と判断する。そして、動き検出部１０３は、ＮフィールドデータＦＤ０とＮ−２フィールドデータＦＤ２との間の画素値の差分が閾値未満である場合に、画像の動きがない「動き情報ＭＶ＝０（静止）」と判断する。
【００１８】
（第２判断処理）
動き検出部１０３は、画像内の複数の注目位置のそれぞれについて、その注目位置における画像の動きの有無を判断する。具体的には、動き検出部１０３は、注目位置における画像の動きの有無を、第１判断処理の判断結果に基づいて判断する。注目位置や第２判断処理の詳細については後述する。
【００１９】
動き検出部１０３は、第１判断処理の結果（各ＩＰ補間位置の動き情報ＭＶ）を、簡易プログレッシブ画像生成部１０４と補間画素生成部１０７に出力する。そして、動き検出部１０３は、第２判断処理の結果（各注目位置の動き情報ＭＶ）を、エッジ検出部１０５に出力する。
【００２０】
なお、画像の動きの検出方法はこれに限らない。例えば、ブロックマッチングにより画像の動きが検出されてもよい。画像の動きは、フィールド単位、画素単位、複数画素を含む領域単位、等のどのような単位で検出されてもよい。１つ以上の画素を含む判断領域毎に、その判断領域における画像の動きの有無が、入力画像データに基づいて判断されてもよい。そして、各判断領域における画像の動きの有無の判断結果に基づいて、各ＩＰ補間位置における画像の動きの有無、及び、各注目位置における画像の動きの有無が判断されてもよい。例えば、判断領域内のＩＰ補間位置や注目位置に対して、当該判断領域の判断結果と同じ判断結果を割り当てることができる。本実施例において、第１判断処理は、「１つのＩＰ補間画素の領域を判断領域として使用した処理」と言える。
【００２１】
簡易プログレッシブ画像生成部１０４は、第１のＩＰ変換処理により、インターレース方式の入力画像データから、プログレッシブ方式の第１画像データ（簡易プログレッシブ画像データ）を生成する（第１生成処理）。具体的には、簡易プログレッシブ画像生成部１０４は、Ｎ−１フィールドデータＦＤ１に第１のＩＰ変換処理を施すことにより、簡易プログレッシブ画像データＦＤ１Ｐを生成する。そして、簡易プログレッシブ画像生成部１０４は、生成した簡易プログレッシブ画像データＦＤ１Ｐをエッジ検出部１０５に出力
する。第１のＩＰ変換処理は、簡易なＩＰ変換処理であれば、どのようなＩＰ変換処理であってもよい。本実施例では、簡易プログレッシブ画像生成部１０４は、Ｎ−１フィールドデータＦＤ１、Ｎ−２フィールドデータＦＤ２、及び、各ＩＰ補間位置の動き情報ＭＶを用いて、第１のＩＰ変換処理を行う。
【００２２】
本実施例では、簡易プログレッシブ画像生成部１０４は、画像の動きが無いと判断されたＩＰ補間位置に対して、フィールド間補間によってＩＰ補間画素を生成する。そして、簡易プログレッシブ画像生成部１０４は、画像の動きがあると判断されたＩＰ補間位置に対して、エッジ検出部１０５の処理結果（検出結果）を考慮しないフィールド内補間によってＩＰ補間画素を生成する。それにより、簡易プログレッシブ画像データが生成される。
【００２３】
第１のＩＰ変換処理の一例について図２を用いて説明する。図２において、丸は、インターレース画像データに存在する画素（実画素）の位置を示し、四角は、ＩＰ補間位置を示す。本実施例では、簡易プログレッシブ画像生成部１０４は、Ｎ−１フィールドデータＦＤ１の実画素の位置と同じ位置における簡易プログレッシブ画像データＦＤ１Ｐの画素値として、Ｎ−１フィールドデータＦＤ１の画素値と同じ画素値を割り当てる。そして、簡易プログレッシブ画像生成部１０４は、Ｎ−１フィールドデータＦＤ１のＩＰ補間位置と同じ位置における簡易プログレッシブ画像データＦＤ１Ｐの画素値として、当該ＩＰ補間位置の動き情報ＭＶに基づく画素値を割り当てる。具体的には、図２に示すように、ＩＰ補間位置Ｐの動き情報ＭＶが「０（静止）」である場合には、簡易プログレッシブ画像生成部１０４は、ＩＰ補間位置Ｐに対して画素値Ａを割り当てる。画素値Ａは、ＩＰ補間位置ＰにおけるＮ−２フィールドデータＦＤ２の画素値である。そして、ＩＰ補間位置Ｐの動き情報ＭＶが「１（動き）」である場合には、簡易プログレッシブ画像生成部１０４は、画素値Ｂ，Ｃの平均値を、ＩＰ補間位置Ｐに対して割り当てる。画素値Ｂ，Ｃは、ＩＰ補間位置Ｐに対して上下に隣接する２つの画素位置におけるＮ−１フィールドデータＦＤ１の画素値である。
【００２４】
第１のＩＰ変換処理の具体例について図３（Ａ），３（Ｂ），４，５を用いて説明する。図３（Ａ）は、Ｎ−１フィールドデータＦＤ１を示し、図３（Ｂ）は、Ｎ−２フィールドデータＦＤ２を示す。図４，５は、図３（Ａ）のＮ−１フィールドデータＦＤ１と、図３（Ｂ）のＮ−２フィールドデータＦＤ２と、を用いて生成された簡易プログレッシブ画像データＦＤ１Ｐを示す。図４は、全てのＩＰ補間位置で動き情報ＭＶ＝１（動き）である場合の例を示し、図５は、全てのＩＰ補間位置で動き情報ＭＶ＝１（動き）である場合の例を示す。図３（Ａ），３（Ｂ）において、「補間ライン」は、ＩＰ補間画素のラインを示し、「実ライン」は、実画素のラインを示す。簡易プログレッシブ画像データＦＤ１Ｐでは全てのラインが実ラインであるが、わかりやすさのために、図４，５には、Ｎ−１フィールドデータＦＤ１のライン名が示されている。図３（Ａ），３（Ｂ），４，５において、黒丸は黒色の画素、白丸は白色の画素、グレー丸はグレー色の画素を示す。グレー丸の画素値は、黒色の画素値と白色の画素値の平均値である。
【００２５】
上述したように、動き情報ＭＶ＝１（動き）である場合には、ＩＰ補間位置に対して上下に隣接する２つの画素位置におけるＮ−１フィールドデータＦＤ１の画素値の平均値が、当該ＩＰ補間位置における画素値として割り当てられる。そのため、図４に示すように、上下に黒丸が隣接するＩＰ補間位置に対しては、黒丸が生成される。上下に白丸が隣接するＩＰ補間位置に対しては、白丸が生成される。そして、上下の一方に黒丸が隣接し且つ上下の他方に白丸が隣接するＩＰ補間位置に対しては、グレー丸が生成される。
【００２６】
上述したように、動き情報ＭＶ＝０（静止）である場合には、ＩＰ補間位置におけるＮ−２フィールドデータＦＤ２の画素値が、当該ＩＰ補間位置における画素値として割り当
てられる。そのため、図５に示すように、Ｎ−２フィールドデータＦＤ２の画素が黒丸であるＩＰ補間位置に対しては、黒丸が生成される。そして、Ｎ−２フィールドデータＦＤ２の画素が白丸であるＩＰ補間位置に対しては、白丸が生成される。
【００２７】
エッジ検出部１０５は、２つの参照ブロックの水平方向の位置（水平位置）を変えながら２つの参照ブロック内の画像を互いに比較するブロックマッチングを行うことにより、簡易プログレッシブ画像データＦＤ１Ｐからエッジを検出する。そして、エッジ検出部１０５は、エッジの検出結果をフィールド内補間画素生成部１０６とスケーラ部１０９に出力する。詳細は後述するが、本実施例では、エッジ検出部１０５は、フィールド内補間画素生成部１０６に、エッジの検出結果として角度情報ＡＮＧＬＥ＿ＩＰを出力する。そして、エッジ検出部１０５は、スケーラ部１０９に、エッジの検出結果として角度情報ＡＮＧＬＥ＿ＳＣを出力する。
【００２８】
角度情報ＡＮＧＬＥ＿ＩＰは、各ＩＰ補間位置におけるエッジの有無と、ＩＰ補間位置に存在するエッジの方向と、を表す。角度情報ＡＮＧＬＥ＿ＳＣは、各注目位置におけるエッジの有無と、注目位置に存在するエッジの方向と、を表す。本実施例では、エッジ検出部１０５は、角度情報ＡＮＧＬＥ＿ＩＰ，ＡＮＧＬＥ＿ＳＣとして−１６〜＋１６の値を出力する。具体的には、エッジ検出部１０５は、エッジが存在する位置における角度情報ＡＮＧＬＥ＿ＩＰ，ＡＮＧＬＥ＿ＳＣとして、垂直方向に対するエッジの傾斜角度を表す値を出力する。そして、エッジ検出部１０５は、エッジが存在しない位置における角度情報ＡＮＧＬＥ＿ＩＰ，ＡＮＧＬＥ＿ＳＣとして、「０」を出力する。
【００２９】
なお、エッジの方向の表現方法は上記方法（垂直方向に対するエッジの傾斜角度）に限らない。例えば、エッジの方向は、水平方向に対するエッジの傾斜角度で表現されてもよい。また、エッジ検出部１０５が出力する情報は、角度情報ＡＮＧＬＥ＿ＩＰ，ＡＮＧＬＥ＿ＳＣに限らない。例えば、エッジ検出部１０５は、エッジの検出結果として、フィールド内補間画素生成部１０６とスケーラ部１０９で共通の情報を出力してもよい。そして、フィールド内補間画素生成部１０６とスケーラ部１０９が、入力された情報（エッジの検出結果）から、角度情報ＡＮＧＬＥ＿ＩＰや角度情報ＡＮＧＬＥ＿ＳＣを生成してもよい。
【００３０】
フィールド内補間画素生成部１０６、補間画素生成部１０７、及び、倍速変換部１０８により、第２のＩＰ変換処理が行われる。それにより、入力画像データから、プログレッシブ方式の第２画像データが生成される（第２生成処理）。具体的には、Ｎ−１フィールドデータＦＤ１に第２のＩＰ変換処理を施すことにより、プログレッシブ画像データＰＤが生成される。生成されたプログレッシブ画像データＰＤは、スケーラ部１０９に入力される。第１のＩＰ変換処理では、動き情報ＭＶ＝０（静止）のＩＰ補間位置に対して、フィールド間補間によってＩＰ補間画素が生成される。そして、動き情報ＭＶ＝１（動き）のＩＰ補間位置に対して、角度情報ＡＮＧＬＥ＿ＩＰを考慮したフィールド内補間によってＩＰ補間画素が生成される。
【００３１】
フィールド内補間画素生成部１０６は、角度情報ＡＮＧＬＥ＿ＩＰに基づいて、フィールド内補間によるＩＰ補間画素（フィールド内補間画素）を生成して出力する。具体的には、フィールド内補間画素生成部１０６は、フィールド内補間画素の画素値ＩＤ１を算出し、出力する。フィールド内補間画素は、画像の動きのある位置に生成するのに適したＩＰ補間画素であり、ＩＰ補間画素の生成の対象となるＮ−１フィールドデータＦＤ１の画素値を用いて生成されるＩＰ補間画素である。
【００３２】
フィールド内補間画素生成部１０６は、例えば、図６に示すような構成を有する。フィールド内補間画素生成部１０６に入力されたＮ−１フィールドデータＦＤ１は、ラインメ
モリ２００と第１選択部２０１に入力される。ラインメモリ２００は、入力されたＮ−１フィールドデータＦＤ１を１Ｈ（１水平走査期間）だけ遅延させ、当該遅延させたデータを１Ｈ遅延データＬＤ１として第２選択部２０２に出力する。第１選択部２０１は、ＩＰ補間位置毎に、Ｎ−１フィールドデータＦＤ１（ＩＰ補間位置の１つ下のラインの画像データ）から、角度情報ＡＮＧＬＥ＿ＩＰに応じた画素を選択し、その画素の画素値Ｓ１を出力する。第２選択部２０２は、ＩＰ補間位置毎に、１Ｈ遅延データＬＤ１（ＩＰ補間位置の１つ上のラインの画像データ）から、角度情報ＡＮＧＬＥ＿ＩＰに応じた画素を選択し、その画素の画素値Ｓ２を出力する。
【００３３】
第１選択部２０１及び第２選択部２０２における画素の選択方法について、図７を用いて説明する。図７において、画素ｕ（ｘ）は、ＩＰ補間位置Ｈの１つ上のライン上の画素であり、図６における１Ｈ遅延データＬＤ１で表される画素である。画素ｄ（ｘ）は、ＩＰ補間位置Ｈの１つ下のライン上の画素であり、図６におけるＮ−１フィールドデータＦＤ１で表される画素である。ｘは、ＩＰ補間位置に対する画素ｕ（ｘ），ｄ（ｘ）の位置の水平方向のずれ量（ＩＰ補間位置を基準とする画素ｕ（ｘ），ｄ（ｘ）の水平位置を示す値）である。ｘの値が負の値である場合には、画素ｕ（ｘ），ｄ（ｘ）の水平位置は、ＩＰ補間位置に対して左側へ｜ｘ｜画素ずれた位置となる。ｘの値が正の値である場合には、画素ｕ（ｘ），ｄ（ｘ）の水平位置は、ＩＰ補間位置に対して右側へ｜ｘ｜画素ずれた位置となる。
【００３４】
本実施例では、エッジ検出部１０５は、角度情報ＡＮＧＬＥ＿ＩＰとして、上述したｘの２倍の値を出力する。また、エッジ検出部１０５は、ＩＰ補間位置がエッジ部分でない場合には、角度情報ＡＮＧＬＥ＿ＩＰ＝０を出力する。角度情報ＡＮＧＬＥ＿ＩＰ＝＋Ｐ（Ｐは自然数）の場合は、第１選択部２０１でｕ（＋Ｐ／２）が選択され、第２選択部２０２でｄ（−Ｐ／２）が選択される。図７は、ＩＰ補間位置Ｈに対する角度情報ＡＮＧＬＥ＿ＩＰが＋６の例である。この場合、第１選択部２０１でｕ（＋３）が選択され、第２選択部２０２でｄ（−３）が選択される。また、角度情報ＡＮＧＬＥ＿ＩＰ＝０の場合には、図８に示すように、第１選択部２０１でｕ（０）が選択され、第２選択部２０２でｄ（０）が選択される。
【００３５】
加算器２０３は、第１選択部２０１から出力された画素値Ｓ１と第２選択部２０２から出力された画素値Ｓ２とを足し合わせることにより画素値Ｓ３を算出し、乗算器２０４へ出力する。乗算器２０４は、画素値Ｓ３を１／２倍し、その結果（画素値Ｓ３を１／２倍した値）を、フィールド内補間画素の画素値ＩＤ１（フィールド内補間値）として出力する。
【００３６】
これにより、Ｎ−１フィールドデータＦＤ１において、エッジ部分のＩＰ補間画素の画素値として、そのエッジの方向に隣接する２画素の画素値の平均値を得ることができる。また、エッジ部分以外の位置の補間画素の画素値として、垂直方向に隣接する２画素の画素値の平均値を得ることができる。
【００３７】
補間画素生成部１０７は、ＩＰ補間位置毎に、動き情報ＭＶに応じて補間方法を切り替え、ＩＰ補間画素を生成する（ＩＰ補間画素の画素値ＩＤ２を決定する）。即ち、補間画素生成部１０７は、動き適応型ＩＰ変換によりＩＰ補間画素を生成する。具体的には、ＩＰ補間位置において画像の動きがない場合（ＭＶ＝０である場合）には、補間画素生成部１０７は、該ＩＰ補間位置に対し、Ｎ−２フィールドデータＦＤ２の画素値を画素値ＩＤ２として用いて、ＩＰ補間画素（フィールド間補間画素）を生成する。ＩＰ補間位置において画像の動きがある場合（ＭＶ＝１である場合）には、補間画素生成部１０７は、該ＩＰ補間位置に対し、フィールド内補間値ＩＤ１を画素値ＩＤ２として用いて、ＩＰ補間画素（フィールド内補間画素）を生成する。そして、補間画素生成部１０７は、各ＩＰ補間
画素の画素値ＩＤ２を倍速変換部１０８へ出力する。なお、フィールド間補間画素は、画像の動きのない位置に生成するのに適したＩＰ補間画素であって、Ｎ−２フィールドデータの画素値（ＩＰ補間画素と同じ位置の画素値）と同じ画素値を有するＩＰ補間画素である。
【００３８】
倍速変換部１０８は、各ＩＰ補間画素の画素値ＩＤ２と、Ｎ−１フィールドデータＦＤ１とを合成してプログレッシブ画像データＰＤ（プログレッシブ画像データの１フレームの画像データ）として出力する。具体的には、倍速変換部１０８は、Ｎ−１フィールドデータＦＤ１と、各ＩＰ補間画素の画素値ＩＤ２とを、インターレース画像データが入力される速度の２倍の速度でライン毎に交互に読み出す。これにより、Ｎ−１フィールドデータＦＤ１の実ラインのデータと、画素値ＩＤ２を有するＩＰ補間画素からなる補間ラインのデータとがライン毎に交互に読み出される。そして、倍速変換部１０８は、データを読み出す度に、読み出したデータをプログレッシブ画像データ（プログレッシブ画像データＰＤの１ラインのデータ）として出力する。
【００３９】
スケーラ部１０９は、角度情報ＡＮＧＬＥ＿ＳＣを考慮したスケーラ処理により、プログレッシブ画像データＰＤの画像サイズ（解像度）を変更したスケールド画像データ（第３画像データ）を生成する。そして、スケーラ部１０９は、生成したスケールド画像データを出力する。スケールド画像データは、不図示の記憶部に記録されたり、不図示の表示部で表示されたりする。
【００４０】
図９は、本実施例に係るスケーラ処理の一例を示す図である。図９において、「Ｐ０」は注目位置を示し、「Ｐ１」はＳＣ補間位置（ＳＣ補間画素の生成位置）を示す。注目位置は特に限定されないが、本実施例では、図９に示すように、簡易プログレッシブ画像データＦＤ１Ｐの２行２列の４画素の中心位置が注目位置として使用される。注目位置Ｐ０は、ＳＣ補間位置Ｐ１に最も近い注目位置である。ＳＣ補間位置Ｐ１は、スケーラ処理の拡大率や縮小率に依存する。図９において、「ｉｘ＿ｉ」は、簡易プログレッシブ画像データＦＤ１Ｐの画素の水平位置を示すための整数値であり、「ｉｙ＿ｉ」は、簡易プログレッシブ画像データＦＤ１Ｐの画素の垂直位置（垂直方向の位置）を示すための整数値である。また、「ｉｘ＿ｓ」は、ＳＣ補間位置Ｐ１の水平位置を示すための小数値であり、「ｉｙ＿ｓ」は、ＳＣ補間位置Ｐ１の垂直位置を示すための小数値である。ＳＣ補間位置Ｐ１の座標（水平位置，垂直位置）は、（ｉｘ＿ｉ＋ｉｘ＿ｓ，ｉｙ＿ｉ＋ｉｙ＿ｓ）で表すことができる。
【００４１】
本実施例では、スケーラ処理において、角度情報ＡＮＧＬＥ＿ＳＣに基づいて、簡易プログレッシブ画像データＦＤ１Ｐの４つ画素Ｕ１，Ｕ２，Ｄ１，Ｄ２が選択される。そして、選択された４つの画素Ｕ１，Ｕ２，Ｄ１，Ｄ２の画素値を用いて、ＳＣ補間位置Ｐ１の画素値ＤＯＵＴが算出される。その後、算出された画素値ＤＯＵＴが、スケールド画像データの画素値として出力される。
【００４２】
画素Ｕ１，Ｕ２は、ＳＣ補間位置Ｐ１の１つ上のライン上の画素であり、画素Ｄ１，Ｄ２は、ＳＣ補間位置Ｐ１の１つ下のライン上の画素である。本実施例では、角度情報ＡＮＧＬＥ＿ＳＣとして、注目位置を基準とする画素Ｕ，Ｄの水平位置を示す値が使用される。角度情報ＡＮＧＬＥ＿ＳＣの詳しい定義は、角度情報ＡＮＧＬＥ＿ＩＰと同様である。本実施例では、角度情報ＡＮＧＬＥ＿ＳＣに基づいて画素Ｕ１，Ｄ１が選択される。画素Ｕ１，Ｄ１は、角度情報ＡＮＧＬＥ＿ＳＣが示すエッジの方向において注目位置Ｐ０に隣接する画素である。そして、画素Ｕ１，Ｄ１の水平位置をＳＣ補間位置Ｐ１の側に１画素分だけシフトさせることにより、画素Ｕ２，Ｄ２が選択される。画素Ｕ１，Ｕ２，Ｄ１，Ｄ２の水平位置Ｕ１（ｘ），Ｕ２（ｘ），Ｄ１（ｘ），Ｄ２（ｘ）は、以下の式１を用いて算出できる。式１において、「ＩＮＴ（Ｘ）」は、Ｘの整数部分を得る関数である。
Ｕ１（ｘ）＝ＩＮＴ（ｉｘ＿ｉ＋ｉｘ＿ｓ＋ＡＮＧＬＥ＿ＳＣ×ｉｙ＿ｓ）
Ｕ２（ｘ）＝Ｕ１（ｘ）＋１
Ｄ１（ｘ）＝Ｕ１（ｘ）−ＡＮＧＬＥ＿ＳＣ
Ｄ２（ｘ）＝Ｄ１（ｘ）＋１
・・・（式１）
【００４３】
図９の「ｋ」は、ＳＣ補間位置Ｐ１の画素値を算出する際に用いるパラメータであり、画素Ｕ１，Ｕ２，Ｄ１，Ｄ２の画素値の重みを決定するためのパラメータである。図９に示すように、パラメータｋは、第１位置と画素Ｕ１との間の距離である。第１位置は、ＳＣ補間位置Ｐ１の１つ上のライン上の位置であり、角度情報ＡＮＧＬＥ＿ＳＣが示すエッジの方向においてＳＣ補間位置Ｐ１に隣接する位置である。パラメータｋは、第２位置と画素Ｄ２との間の距離でもある。第２位置は、ＳＣ補間位置Ｐ１の１つ下のライン上の位置であり、角度情報ＡＮＧＬＥ＿ＳＣが示すエッジの方向においてＳＣ補間位置Ｐ１に隣接する位置である。パラメータｋは、以下の式２を用いて算出される。
ｋ＝（ｉｘ＿ｓ＋ＡＮＧＬＥ＿ＳＣ×ｉｙ＿ｓ）
−ＩＮＴ（ｉｘ＿ｓ＋ＡＮＧＬＥ＿ＳＣ×ｉｙ＿ｓ）
・・・（式２）
【００４４】
そして、画素Ｕ１，Ｕ２，Ｄ１，Ｄ２の画素値をパラメータｋに基づく重み（ＳＣ補間位置Ｐ１からの距離に基づく重み）で重み付け合成することにより、ＳＣ補間位置Ｐ１の画素値ＤＯＵＴが算出される。具体的には、以下の式３を用いて画素値ＤＯＵＴが算出される。式３において、「ＰＤ（Ｕ１（ｘ），ｉｙ＿ｉ）」は画素Ｕ１の画素値、「ＰＤ（Ｕ２（ｘ），ｉｙ＿ｉ）」は画素Ｕ２の画素値、「ＰＤ（Ｄ１（ｘ），ｉｙ＿ｉ＋１）」は画素Ｄ１の画素値、「ＰＤ（Ｄ２（ｘ），ｉｙ＿ｉ＋１）」は画素Ｄ２の画素値である。
ＤＯＵＴ＝（ＰＤ（Ｕ１（ｘ），ｉｙ＿ｉ）×（１−ｋ）
＋ＰＤ（Ｕ２（ｘ），ｉｙ＿ｉ）×ｋ）×（１−ｉｙ＿ｓ）＋
（ＰＤ（Ｄ１（ｘ），ｉｙ＿ｉ＋１）×ｋ
＋ＰＤ（Ｄ２（ｘ）、ｉｙ＿ｉ＋１）×（１−ｋ））×ｉｙ＿ｓ
・・・（式３）
【００４５】
式３によれば、画素値ＰＤ（Ｕ１（ｘ），ｉｙ＿ｉ）の重みとして「１−ｋ」（第１位置と画素Ｕ２の間の距離）が使用され、画素値ＰＤ（Ｕ２（ｘ），ｉｙ＿ｉ）の重みとして「ｋ」（第１位置と画素Ｕ１の間の距離）が使用される。それらの重みを用いて、画素値ＰＤ（Ｕ１（ｘ），ｉｙ＿ｉ）と画素値ＰＤ（Ｕ２（ｘ），ｉｙ＿ｉ）が重み付け合成され、第１合成値が算出される。
【００４６】
また、画素値ＰＤ（Ｄ１（ｘ），ｉｙ＿ｉ＋１）の重みとして「ｋ」（第２位置と画素Ｄ２の間の距離）が使用され、画素値ＰＤ（Ｄ２（ｘ），ｉｙ＿ｉ＋１）の重みとして「１−ｋ」（第２位置と画素Ｄ１の間の距離）が使用される。それらの重みを用いて、画素値ＰＤ（Ｄ１（ｘ），ｉｙ＿ｉ＋１）と画素値ＰＤ（Ｄ２（ｘ），ｉｙ＿ｉ＋１）が重み付け合成され、第２合成値が算出される。
【００４７】
そして、第１合成値の重みとして「１−ｉｙ＿ｓ」（画素Ｄ１，Ｄ２のラインとＳＣ補
間位置Ｐ１との間の垂直距離（垂直方向の距離））が使用される。また、第２合成値の重みとして「ｉｙ＿ｓ」（画素Ｕ１，Ｕ２のラインとＳＣ補間位置Ｐ１との間の垂直距離）が使用される。それらの重みを用いて、第１合成値と第２合成値が重み付け合成され、画素値ＤＯＵＴが算出される。
【００４８】
以上の処理により、エッジの検出結果を考慮したＩＰ変換処理とスケーラ処理がＮ−１フィールドデータＦＤ１に順に施され、プログレッシブ方式のスケールド画像データが生成される。なお、スケーラ処理の方法は上記方法に限定されるものではなく、従来提案されている種々の方法を用いることができる。
【００４９】
次に、エッジ検出部１０５について詳しく説明する。図１０は、エッジ検出部１０５の構成の一例を示す図である。図１０に示すように、エッジ検出部１０５は、輝度変換部３０１、ブロックバッファ部３０２、ブロックマッチング部３０３、及び、マッチング角度算出部３０４を有する。
【００５０】
輝度変換部３０１は、簡易プログレッシブ画像生成部１０４で生成された簡易プログレッシブ画像データＦＤ１Ｐの各画素値を輝度値ＹＤＡＴＡに変換する。簡易プログレッシブ画像データＦＤ１Ｐの画素値がＹＣｂＣｒ値（Ｙ値、Ｃｂ値、及び、Ｃｒ値の組み合わせ）である場合には、輝度変換部３０１は、Ｙ値を輝度値ＹＤＡＴＡとして取得する。簡易プログレッシブ画像データＦＤ１Ｐの画素値がＲＧＢ値（Ｒ値、Ｇ値、及び、Ｂ値の組み合わせ）である場合には、輝度変換部３０１は、ＲＧＢ値から輝度値ＹＤＡＴＡを算出する。例えば、以下の式４を用いて輝度値ＹＤＡＴＡが算出される。
ＹＤＡＴＡ＝０．２×Ｒ値＋０．７×Ｇ値＋０．１×Ｂ値  ・・・（式４）
【００５１】
ブロックバッファ部３０２は、輝度変換部３０１から出力された輝度値ＹＤＡＴＡを記憶し、記憶している輝度値ＹＤＡＴＡを出力する。本実施例では、ブロックバッファ部３０２は、５ライン分のラインメモリを有しており、５ライン分のラインメモリに輝度値ＹＤＡＴＡ（５ライン分の輝度値ＹＤＡＴＡ）を蓄積する。そして、水平方向Ｘ画素×垂直方向Ｙライン分の輝度値ＹＤＡＴＡをラインメモリから読み出し、読み出した輝度値ＹＤＡＴＡをブロックデータＢＬＫＤＡＴＡとして出力する。本実施例では、Ｘ＝２０であり、且つ、Ｙ＝５である場合の例を説明する。ラインメモリが記憶する輝度値ＹＤＡＴＡ、及び、ラインメモリから読み出すブロックデータＢＬＫＤＡＴＡは、例えば、ブロックマッチング部３０３の処理対象の位置（対象位置）の更新に応じて更新される。なお、ラインメモリの数、ブロックデータＢＬＫＤＡＴＡの領域サイズは、特に限定されない。対象位置は、上述した注目位置であり、簡易プログレッシブ画像データＦＤ１Ｐの２行２列の４画素の中心位置である。
【００５２】
ブロックマッチング部３０３は、対象位置に対して、２つの参照ブロックを設定し、２つの参照ブロック内の画像（輝度値ＹＤＡＴＡ）を比較する。具体的には、ブロックマッチング部３０３は、画素毎に、２つの参照ブロックの輝度値ＹＤＡＴＡの差分の絶対値（差分絶対値）を算出し、各画素の差分絶対値の総和であるＳＡＤ値（差分絶対値和）を算出する。２つの参照ブロックの一方の中心位置は、対象位置よりも上側に位置し、２つの参照ブロックの他方の中心位置は、対象位置よりも下側に位置する。そして、参照ブロックペア（２つの参照ブロック）の水平方向の中心位置は、対象位置の水平位置と一致する。２つの参照ブロックの位置関係は、エッジの方向の候補（候補方向）に対応する。
【００５３】
ブロックマッチング部３０３は、２つの参照ブロックの水平位置を変えながら複数のＳＡＤ値を算出する。２つの参照ブロックの水平方向の位置は、ブロックデータＢＬＫＤＡ
ＴＡの領域内（参照範囲内）で変更される。本実施例では、ブロックマッチング部３０３は、ブロック距離が−１６、−１４、−１２、−１０、−８、−６、−４、−２、０、＋２、＋４、＋６、＋８、＋１０、＋１２、＋１４、及び、＋１６である１７個の参照ブロックペアを設定する。そして、ブロックマッチング部３０３は、１７個の参照ブロックペアに対応する１７個のＳＡＤ値ＳＡＤ＿ＡＲＲＡＹ（ｎ）を算出し（ｎはブロック距離）、対象位置に対して算出した複数（１７個）のＳＡＤ値を出力する。ブロック距離の絶対値は、２つの参照ブロックの一方の中心位置と、２つの参照ブロックの他方の中心位置と、の間の水平方向の距離である。本実施例では、対象位置よりも上側に位置する参照ブロックの中心位置が対象位置よりも右側に位置する場合に、ブロック距離として正の値が使用される。そして、対象位置よりも上側に位置する参照ブロックの中心位置が対象位置よりも左側に位置する場合に、ブロック距離として負の値が使用される。ブロック距離の絶対値の増加に伴い、対応する候補方向の垂直方向に対する角度は増加する。参照ブロックのサイズは特に限定されないが、本実施例では、参照ブロックとして、水平方向４画素×垂直方向３画素のサイズを有する領域が使用される場合の例を説明する。
【００５４】
上述した２つの参照ブロックの位置関係について説明する。ＩＰ変換処理とスケーラ処理とでは、２つの参照ブロックの好ましい垂直位置関係（垂直方向の位置関係）が互いに異なる。また、プログレッシブ画像データＰＤを生成する際には、画像の動きがある場合にのみ、角度情報ＡＮＧＬＥ＿ＩＰが考慮される。
【００５５】
そこで、本実施例では、ブロックマッチング部３０３は、対象位置の動き情報ＭＶに応じて、２つの参照ブロック間の垂直位置関係を適応的に切り替える。上述したように、対象位置の動き情報ＭＶは、第２判断処理によって決定される。第２判断処理では、例えば、対象位置に最も近いＩＰ補間位置（Ｎ−１フィールドデータＦＤ１のＩＰ補間位置）の動き情報ＭＶと同じ値が、対象位置の動き情報ＭＶとして設定される。本実施例では、対象位置に最も近いＩＰ補間位置は２つ存在するため、２つのＩＰ補間位置の一方の動き情報ＭＶと同じ値が、対象位置の動き情報ＭＶとして設定される。
【００５６】
なお、第２判断処理は、上記処理に限らない。例えば、対象位置から所定範囲内に存在する複数のＩＰ補間位置の動き情報ＭＶの代表値に基づいて、対象位置の動き情報ＭＶが決定されてもよい。具体的には、対象位置から所定範囲内に存在する複数のＩＰ補間位置の動き情報ＭＶの最頻値が、対象位置の動き情報ＭＶとして設定されてもよい。また、対象位置から所定範囲内に存在する複数のＩＰ補間位置の動き情報ＭＶの平均値が閾値以上である場合に、対象位置の動き情報ＭＶとして「１」が設定されてもよい。そして、対象位置から所定範囲内に存在する複数のＩＰ補間位置の動き情報ＭＶの平均値が閾値未満である場合に、対象位置の動き情報ＭＶとして「０」が設定されてもよい。また、決定方法と同様の方法で、Ｎ−１フィールドデータＦＤ１の実画素の位置の動き情報ＭＶが決定されてもよい。そして、実画素の位置の動き情報ＭＶを考慮して、対象位置の動き情報ＭＶが決定されてもよい。
【００５７】
まず、対象位置の動き情報ＭＶが「０（静止）」である場合の例を説明する。この場合には、ブロックマッチング部３０３は、２つの参照ブロックとして２つの第１ブロックを設定する。２つの第１ブロックの垂直位置関係は、スケーラ処理にとって好ましい関係である。スケーラ処理では、１ライン分だけ離れた２つの実ライン（プログレッシブ画像データＰＤの２つの実ライン）の間にＳＣ補間画素が生成される。そのため、角度情報ＡＮＧＬＥ＿ＲＣを決定する際には、垂直方向に１ライン分だけ互いに離れた２つの参照ブロックを用いることが好ましい。そこで、本実施例では、ブロックマッチング部３０３は、図１１に示すように、２つの第１ブロックとして、垂直方向に１ライン分だけ互いに離れた参照ブロックＡと参照ブロックＢを設定する。図１１は、ブロック距離＝−４の場合の例を示す。ブロックマッチング部３０３は、参照ブロックＡ，Ｂの水平位置を変えながら
１７個のＳＡＤ値を算出する。このとき、ブロックマッチング部３０３は、参照ブロックＡ，Ｂの垂直位置を変更しない。
【００５８】
このように、対象位置の動き情報ＭＶが「０（静止）」である場合には、スケーラ処理にとって好ましい垂直位置関係を有する２つの第１ブロックが使用される。それにより、スケーラ処理にとって好ましいエッジ検出結果（エッジの検出結果）を得ることができる。なお、動き情報ＭＶが「０（静止）」である場合には、エッジ検出結果を考慮せずにプログレッシブ画像データＰＤが生成されるため、２つの第１ブロックを使用することによるプログレッシブ画像データＰＤの画質劣化は生じない。
【００５９】
次に、対象位置の動き情報ＭＶが「１（動き）」である場合の例を説明する。この場合には、ブロックマッチング部３０３は、２つの参照ブロックとして、２つの参照ブロック間の垂直位置関係が２つの第１ブロックと異なる２つの第２ブロックを設定する。２つの第２ブロックの垂直位置関係は、ＩＰ変換処理に好ましい関係である。ＩＰ変換処理では、２ライン分だけ離れた２つの実ライン（Ｎ−１フィールドデータＦＤ１の２つの実ライン）の間にＩＰ補間画素が生成される。そのため、角度情報ＡＮＧＬＥ＿ＩＰを決定する際には、垂直方向に２ライン分だけ互いに離れた２つの参照ブロックを用いることが好ましい。そこで、本実施例では、ブロックマッチング部３０３は、図１１に示すように、２つの第２ブロックとして、垂直方向に２ライン分だけ互いに離れた参照ブロックＡと参照ブロックＣを設定する。図１１は、ブロック距離＝−４の場合の例を示す。ブロックマッチング部３０３は、参照ブロックＡ，Ｃの水平位置を変えながら１７個のＳＡＤ値を算出する。このとき、ブロックマッチング部３０３は、参照ブロックＡ，Ｃの垂直位置を変更しない。
【００６０】
このように、対象位置の動き情報ＭＶが「１（動き）」である場合には、ＩＰ変換処理にとって好ましい垂直位置関係を有する２つの第２ブロックが使用される。それにより、ＩＰ変換処理にとって好ましいエッジ検出結果を得ることができる。また、本実施例では、簡易プログレッシブ画像データからエッジ検出結果が得られるため、スケーラ処理にとってもある程度好ましいエッジ検出結果を得ることができる。そのため、２つの第２ブロックを使用することによるスケールド画像データの画質劣化はほとんど生じない。
【００６１】
なお、図１１には、第１ブロックと第２ブロックの両方に共通の参照ブロックとして参照ブロックＡが使用され、第２ブロックとして、参照ブロックＢとは異なる参照ブロックＣが使用される例が示されているが、これに限らない。例えば、第１ブロックと第２ブロックの両方に共通の参照ブロックとして参照ブロックＢが使用され、第２ブロックとして、参照ブロックＡと異なる参照ブロックが使用されてもよい。
【００６２】
なお、２つの参照ブロック間の垂直方向の距離は短いことが好ましいが、２つの第１ブロックは垂直方向に偶数ライン分だけ互いに離れていればよい。そのため、第１ブロックと第２ブロックとで共通の参照ブロックが使用されなくてもよい。また、ブロックマッチングでは、補間画素の画素値よりも実画素の画素値を多く用いることが好ましい。そのため、Ｎ−１フィールドデータの実画素がより多く含まれるように、２つの参照ブロック（２つの第１ブロックや２つの第２ブロック）が設定されてもよい。
【００６３】
マッチング角度算出部３０４は、ブロックマッチング部３０３から出力された１７個のＳＡＤ＿ＡＲＲＡＹ（ｎ）の最小値ＳＡＤｍｉｎに基づいて、角度情報ＡＮＧＬＥ＿ＩＰ，ＡＮＧＬＥ＿ＳＣを決定する。本実施例では、対象位置に対応するＩＰ補間位置（Ｎ−１フィールドデータＦＤ１のＩＰ補間位置）の角度情報ＡＮＧＬＥ＿ＩＰと、対象位置の角度情報ＡＮＧＬＥ＿ＳＣと、が決定される。そして、マッチング角度算出部３０４は、決定した角度情報ＡＮＧＬＥ＿ＩＰをフィールド内補間画素生成部１０６に出力し、決定
したＡＮＧＬＥ＿ＳＣをスケーラ部１０９に出力する。対象位置に対応するＩＰ補間位置は、例えば、対象位置に最も近いＩＰ補間位置である。本実施例では、対象位置に最も近いＩＰ補間位置は２つ存在する。対象位置に対応するＩＰ補間位置は、対象位置に最も近い２つのＩＰ補間位置の一方であってもよいし、対象位置に最も近い２つのＩＰ補間位置の両方であってもよい。
【００６４】
具体的には、マッチング角度算出部３０４は、ＳＡＤｍｉｎであるＳＡＤ＿ＡＲＲＡＹ（ｎ）のｎを、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥとして取得する。例えば、ＳＡＤ＿ＡＲＲＡＹ（ｎ）の分布が図１２に示す分布であった場合には、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥ＝−４が取得される。そして、マッチング角度算出部３０４は、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥに基づいて、対象位置に関する角度情報ＡＮＧＬＥ＿ＩＰ，ＡＮＧＬＥ＿ＳＣを決定する。
【００６５】
本実施例では、角度情報ＡＮＧＬＥ＿ＩＰは、以下の式５を用いて算出される。即ち、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥと同じ値が、角度情報ＡＮＧＬＥ＿ＩＰとして算出される。
ＡＮＧＬＥ＿ＩＰ＝ＡＮＧＬＥ＿ＢＡＳＥ  ・・・（式５）
【００６６】
対象位置の動き情報ＭＶが「０（静止）」であった場合には、角度情報ＡＮＧＬＥ＿ＳＣは、以下の式６を用いて算出される。即ち、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥと同じ値が、角度情報ＡＮＧＬＥ＿ＳＣとして算出される。
ＡＮＧＬＥ＿ＳＣ＝ＡＮＧＬＥ＿ＢＡＳＥ  ・・・（式６）
【００６７】
そして、対象位置の動き情報ＭＶが「１（動き）」であった場合には、角度情報ＡＮＧＬＥ＿ＳＣは、以下の式７を用いて算出される。即ち、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥの１／２の値が、角度情報ＡＮＧＬＥ＿ＳＣとして算出される。ここで、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥを２で除算するのは、対象位置の動き情報ＭＶが「０」であった場合の角度情報ＡＮＧＬＥ＿ＳＣと同じ単位の角度情報ＡＮＧＬＥ＿ＳＣを得るためである。本実施例では、２つの第１ブロックの垂直距離（垂直方向の距離）は、２つの第２ブロックの垂直距離の２倍である。そのため、基準角度情報ＡＮＧＬＥ＿ＢＡＳＥを２で除算することにより、対象位置の動き情報ＭＶが「０」であった場合の角度情報ＡＮＧＬＥ＿ＳＣと同じ単位の角度情報ＡＮＧＬＥ＿ＳＣを得ることができる。
ＡＮＧＬＥ＿ＳＣ＝ＡＮＧＬＥ＿ＢＡＳＥ÷２  ・・・（式７）
【００６８】
本実施例では、複数の注目位置のそれぞれが対象位置として選択され、上記処理が繰り返し行われる。即ち、本実施例では、複数の注目位置のそれぞれについて、その注目位置における画像の動きの有無の判断結果に応じた２つの参照ブロックを用いて、当該注目位置におけるエッジの有無が判断される。
【００６９】
なお、対象位置の角度情報として角度情報ＡＮＧＬＥ＿ＩＰが決定されてもよい。そして、ＩＰ補間位置から所定範囲内に存在する複数の注目位置の角度情報ＡＮＧＬＥ＿ＩＰの代表値に基づいて、ＩＰ補間位置のＡＮＧＬＥ＿ＩＰが決定されてもよい。
【００７０】
以上述べたように、本実施例によれば、動き情報ＭＶに応じて２つの参照ブロック間の
垂直位置関係を適応的に切り替える、という簡易な構成で、ＩＰ変換処理とスケーラ処理の両方に対して適切なエッジ検出結果を得ることができる。その結果、高画質な画像データ（ジャギーが目立たない画像データ）を得ることができる。
【００７１】
なお、本実施例では、入力画像データがインターレース画像データである場合の例を説明したが、画像処理装置にプログレッシブ画像データが入力されることもある。その場合には、入力画像データがプログレッシブ画像データである場合に、動き検出部１０３は、画像の全領域において画像の動きが無いと判断することが好ましく、エッジ検出部１０５は、入力画像データからエッジを検出することが好ましい。そして、スケーラ部１０９は、スケーラ処理により、入力画像データから、入力画像データの画像サイズを変更したスケールド画像データを生成することが好ましい。それにより、高精度なスケーラ処理を実現でき、非常に高い画質のスケールド画像データを得ることができる。また、入力画像データがプログレッシブ画像データである場合に、簡易プログレッシブ画像生成部１０４、フィールド内補間画素生成部１０６、補間画素生成部１０７、及び、倍速変換部１０８の処理が省略されてもよい。それにより、処理負荷を低減できる。
【００７２】
なお、本実施例では、動き情報ＭＶが「０」または「１」の２値である場合の例を示したが、動き情報ＭＶは、多ビットの値であってもよい。その場合には、動き情報ＭＶを動き判定閾値ｍｔｈと比較することで、画像の動きの有無を判断することができる。具体的には、動き情報ＭＶが閾値ｍｔｈ以上である場合に、画像の動きがあると判断することができ、動き情報ＭＶが閾値ｍｔｈ未満である場合に、画像の動きが無いと判断することができる。
【００７３】
＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及び画像処理方法について、図面を用いて説明する。画像処理装置に入力される画像データの解像度（画像サイズ）は様々である。本実施例では、入力画像データの解像度に応じて参照ブロックのサイズを変更する例を説明する。なお、以下では、実施例１と異なる構成や処理について詳しく説明し、実施例１と同様の構成や処理についての説明は省略する。
【００７４】
本実施例に係る画像処理装置の構成は、実施例１（図１）と同じである。但し、本実施例では、エッジ検出部１０５の処理が実施例１と異なる。図１３は、本実施例に係るエッジ検出部１０５の構成の一例を示すブロック図である。図１３において、実施例１（図１０）と同じ機能部には実施例１と同じ符号を付し、その機能部についての説明は省略する。
【００７５】
ブロックバッファ部５０２は、実施例１のブロックバッファ部３０２と同様の機能を有する。但し、ブロックバッファ部５０２は、入力画像データ（インターレース画像データ）の解像度に応じて、参照範囲（ブロックデータＢＬＫＤＡＴＡの領域）のサイズを変更する。具体的には、ブロックバッファ部５０２は、入力画像データの解像度が低いほど狭い（小さい）参照範囲を設定する。本実施例では、入力画像データの解像度を示す解像度情報ＲＥＳＯが、画像処理装置に入力される。ブロックバッファ部５０２は、解像度情報ＲＥＳＯを取得し、解像度情報ＲＥＳＯに基づいて参照範囲のサイズ（ブロックサイズＢＬＫＳＩＺＥ）を決定する。なお、画像処理装置内において、入力画像データから解像度情報ＲＥＳＯが生成されてもよい。
【００７６】
入力画像データの解像度が低い場合、広い範囲内で参照ブロックの位置を変更すると、エッジが誤検出される虞がある。本実施例では、入力画像データの解像度が低いほど狭い参照範囲が設定される。その結果、入力画像データの解像度が低いほど狭い参照範囲内で２つの参照ブロックの水平位置が変更される。それにより、エッジの誤検出を抑制し、よ
り高精度なエッジ検出結果を得ることができる。
【００７７】
解像度情報ＲＥＳＯは、例えば、以下の式８を用いて算出された値である。式８において、「ＨＲＥＳＯ」は、入力画像データの水平解像度（水平方向の画素数）であり、例えば１９２０である。「ＶＲＥＳＯ」は、入力画像データの垂直解像度（垂直方向の画素数；垂直方向のライン数）であり、例えば１０８０である。「α」は、所定の係数であり、例えば、０以上１以下の任意の値である。
ＲＥＳＯ＝（ＨＲＥＳＯ×ＶＲＥＳＯ）×α  ・・・（式８）
【００７８】
本実施例では、解像度情報ＲＥＳＯとブロックサイズＢＬＫＳＩＺＥの対応関係が予め定められている。例えば、図１４に示すような対応関係を示す情報（テーブルや関数）が、不図示のメモリに予め記録されている。そして、ブロックバッファ部５０２は、予め定められた上記対応関係と、取得した解像度情報ＲＥＳＯと、に基づいて、ブロックサイズＢＬＫＳＩＺＥを決定する。図１４の例では、解像度情報ＲＥＳＯ＿ＡにブロックサイズＢＬＫＳＩＺＥ＝２０（水平方向の画素数）×５（垂直方向のライン数）が対応付けられており、解像度情報ＲＥＳＯ＿ＢにブロックサイズＢＬＫＳＩＺＥ＝２６×５が対応付けられている。そして、解像度情報ＲＥＳＯ＿ＣにブロックサイズＢＬＫＳＩＺＥ＝３０×５が対応付けられており、解像度情報ＲＥＳＯ＿ＤにブロックサイズＢＬＫＳＩＺＥ＝４０×５が対応付けられている。図１４において、解像度情報ＲＥＳＯ＿Ａ，ＲＥＳＯ＿Ｂ，ＲＥＳＯ＿Ｃ，ＲＥＳＯ＿Ｄの大小関係は、ＲＥＳＯ＿Ａ＜ＲＥＳＯ＿Ｂ＜ＲＥＳＯ＿Ｃ＜ＲＥＳＯ＿Ｄである。解像度情報ＲＥＳＯ＿Ａが取得された場合には、ブロックサイズＢＬＫＳＩＺＥ＝２０×５が設定される。解像度情報ＲＥＳＯ＿Ｂ，ＲＥＳＯ＿Ｃ，ＲＥＳＯ＿Ｄが取得された場合には、同様に、ブロックサイズＢＬＫＳＩＺＥ＝２６×５，３０×５，４０×５が設定される。
【００７９】
以上述べたように、本実施例によれば、入力画像データの解像度が低いほど狭い参照範囲内で２つの参照ブロックの水平位置が変更される。それにより、入力画像データの解像度に応じた最適な範囲でブロックマッチングを行うことができる。その結果、エッジの誤検出を抑制し、より高精度なエッジ検出結果を得ることができる。ひいては、より高画質な画像データ（ジャギーが目立たない画像データ）を得ることができる。
【００８０】
なお、本実施例では、入力画像データの解像度に応じて参照範囲を変更する例を示したが、これに限らない。例えば、ユーザ操作に応じて参照範囲が変更されてもよい。検出対象とするエッジの方向の範囲に応じて参照範囲が変更されてもよい。例えば、水平方向に対する角度が小さい方向のエッジを検出可能とする場合には、参照範囲の水平方向のサイズとして、大きい値を設定すればよい。水平方向に対する角度が大きい方向のエッジのみを検出可能とする場合には、参照範囲の水平方向のサイズとして、小さい値を設定すればよい。垂直方向に対する角度についても、同様の考え方で、参照範囲の垂直方向のサイズを変更すればよい。
【００８１】
＜実施例３＞
以下、本発明の実施例３に係る画像処理装置及び画像処理方法について、図面を用いて説明する。本実施例では、実施例１の方法で決定された動き情報ＭＶを補正する例を説明する。なお、以下では、実施例１，２と異なる構成や処理について詳しく説明し、実施例１，２と同様の構成や処理についての説明は省略する。
【００８２】
本実施例に係る画像処理装置の構成は、実施例１（図１）と同じである。但し、本実施例では、エッジ検出部１０５の処理が実施例１と異なる。図１５は、本実施例に係るエッ
ジ検出部１０５の構成の一例を示すブロック図である。図１５において、実施例１（図１０）と同じ機能部には実施例１と同じ符号を付し、その機能部についての説明は省略する。
【００８３】
動き情報補正部７０５は、各注目位置の動き情報ＭＶを動き検出部１０３から取得する。そして、動き情報補正部７０５は、注目位置である対象位置の動き情報ＭＶを補正する補正処理を、各注目位置について行う。補正処理は、注目位置である対象位置の動き情報ＭＶと、対象位置を中心とする閾値範囲内に存在する他の注目位置である周辺位置の動き情報ＭＶと、を代表する代表値（代表結果；補正動き情報ＭＶＲＥＶ）に、対象位置の動き情報ＭＶを補正する処理である。代表値は、動き情報ＭＶの最大値、最小値、平均値、最頻値、中間値、等である。そして、動き情報補正部７０５は、各注目位置の補正動き情報ＭＶＲＥＶを、ブロックマッチング部３０３とマッチング角度算出部３０４に出力する。その結果、各注目位置の補正動き情報ＭＶＲＥＶに基づいて、簡易プログレッシブ画像データＦＤ１Ｐからエッジが検出される。
【００８４】
対象位置の補正動き情報ＭＶＲＥＶは、例えば、以下の式９を用いて算出される。式９では、対象位置を中心としたＭ行Ｎ列の注目位置の動き情報ＭＶを重み付け合成することにより、対象位置の補正動き情報ＭＶＲＥＶが算出される。式９において、「ＭＶｍｎ」は、上記Ｍ行Ｎ列の注目位置のうち、ｍ行ｎ列目の注目位置の動き情報ＭＶである。βは重みである。例えば、重みβは、任意の係数であり、１以上２以下の値である。重みβの増加に伴い、「動き情報ＭＶ＝１（動き）」と判断された注目位置の動き情報ＭＶが補正動き情報ＭＶＲＥＶに与える影響が増加する。ＭとＮの値は、周辺位置を決定するための上記閾値範囲を表す。なお、式９で得られる補正動き情報ＭＶＲＥＶは多ビットの値である。そのため、ブロックマッチング部３０３とマッチング角度算出部３０４では、補正動き情報ＭＶＲＥＶを動き判定閾値ｍｔｈと比較することで、画像の動きの有無が判断される。
【数１】
2016184881.tif 000003
【００８５】
以上述べたように、本実施例によれば、注目位置の周辺の動き情報ＭＶを考慮して各注目位置の動き情報ＭＶが補正される。それにより、各注目位置の動き情報（補正動き情報）として、画像の動きの有無をより高精度に表す情報を得ることができる。その結果、より高精度なエッジ検出結果を得ることができ、より高画質な画像データ（ジャギーが目立たない画像データ）を得ることができる。
【００８６】
なお、閾値範囲の大きさは特に限定されない。実施例１，２で述べた参照範囲のサイズが変更可能である場合には、動き情報補正部７０５は、参照範囲が狭いほど広い範囲を、閾値範囲として使用することが好ましい。これにより、各注目位置の補正動き情報として、画像の動きの有無をより高精度に表す情報を得ることができる。
【００８７】
＜実施例４＞
以下、本発明の実施例４に係る画像処理装置及び画像処理方法について、図面を用いて説明する。実施例１では、ブロックマッチングで使用する２つ参照ブロックを、２つの第１ブロックと、２つの第２ブロックと、の間で切り替える例を説明した。本実施例では、２つの第１ブロックを用いた第１のブロックマッチングの結果と、２つの第２ブロックを用いた第２のブロックマッチングの結果と、を合成する例を説明する。
【００８８】
本実施例に係る画像処理装置の構成は、実施例１（図１）と同じである。但し、本実施例では、エッジ検出部１０５の処理が実施例１と異なる。図１６は、本実施例に係るエッジ検出部１０５の構成の一例を示すブロック図である。図１６において、実施例１（図１０）と同じ機能部には実施例１と同じ符号を付し、その機能部についての説明は省略する。なお、本実施例では、動き検出部１０３において、画像の動きの大きさが判断される。例えば、動き情報ＭＶとして、多ビットの値が得られる。本実施例では、動き情報として、画像の動きが大きいほど大きい４ビット（０〜８）の値が得られる場合の例を説明する。
【００８９】
第１ブロックマッチング部９０３は、２つの参照ブロックとして２つの第１ブロックを用いたブロックマッチング（第１のブロックマッチング）を行う。そして、第１ブロックマッチング部９０３は、第１のブロックマッチングの結果（複数のＳＡＤ値ＳＡＤ＿ＡＲＲＡＹ（ｎ））を、合成部９０６に出力する。第１のブロックマッチングは、動き情報ＭＶ＝０（静止）の場合に実施例１のブロックマッチング部３０３で行われるブロックマッチングと同じである。
【００９０】
第２ブロックマッチング部９０５は、２つの参照ブロックとして２つの第２ブロックを用いたブロックマッチング（第２のブロックマッチング）を行う。そして、第２ブロックマッチング部９０５は、第２のブロックマッチングの結果（複数のＳＡＤ値ＳＡＤ＿ＡＲＲＡＹ（ｎ））を、合成部９０６に出力する。第２のブロックマッチングは、動き情報ＭＶ＝１（動き）の場合に実施例１のブロックマッチング部３０３で行われるブロックマッチングと同じである。以後、第１ブロックマッチングで算出されたＳＡＤ値ＳＡＤ＿ＡＲＲＡＹ（ｎ）を「ＳＡＤ値ＳＡＤ＿ＳＴＩＬＬ（ｎ）」と記載し、第２ブロックマッチングで算出されたＳＡＤ値ＳＡＤ＿ＡＲＲＡＹ（ｎ）を「ＳＡＤ値ＳＡＤ＿ＭＯＶＥ（ｎ）」と記載する。
【００９１】
合成部９０６は、ＳＡＤ値ＳＡＤ＿ＳＴＩＬＬ（ｎ）とＳＡＤ値ＳＡＤ＿ＭＯＶＥ（ｎ）を動き情報ＭＶ（対象位置の動き情報）に応じた重みで合成する。具体的には、合成部９０６は、動き情報ＭＶが小さいほどＳＡＤ値ＳＡＤ＿ＳＴＩＬＬ（ｎ）に近く、且つ、動き情報ＭＶが大きいほどＳＡＤ値ＳＡＤ＿ＭＯＶＥ（ｎ）に近い値が得られるように、ＳＡＤ値ＳＡＤ＿ＳＴＩＬＬ（ｎ）とＳＡＤ値ＳＡＤ＿ＭＯＶＥ（ｎ）の重み付け合成を行う。そして、合成部９０６は、重み付け合成の結果（ＳＡＤ値ＳＡＤ＿ＳＴＩＬＬ（ｎ）とＳＡＤ値ＳＡＤ＿ＭＯＶＥ（ｎ）を重み付け合成した値）を、ＳＡＤ＿ＡＲＲＡＹ（ｎ）として、マッチング角度算出部３０４に出力する。それにより、マッチング角度算出部３０４では、重み付け合成の結果に基づいて、エッジが検出される。ＳＡＤ値ＳＡＤ＿ＳＴＩＬＬ（ｎ）とＳＡＤ値ＳＡＤ＿ＭＯＶＥ（ｎ）は、例えば、以下の式１０を用いて合成される。
ＳＡＤ＿ＡＲＲＡＹ（ｎ）＝
（ＳＡＤ＿ＳＴＩＬＬ（ｎ）×（８−ＭＶ）＋ＳＡＤ＿ＭＯＶＥ（ｎ）×ＭＶ）÷８
・・・（式１０）
【００９２】
以上述べたように、本実施例によれば、画像の動きの大きさが判断され、画像の動きの大きさの判断結果に応じた重みで、第１のブロックマッチングの結果と第２のブロックマッチングの結果とが重み付け合成される。そして、重み付け合成の結果に基づいて、エッジが検出される。それにより、画像がわずかに動く領域について、より高精度なエッジ検出結果を得ることができる。その結果、より高画質な画像データ（ジャギーが目立たない画像データ）を得ることができる。
【００９３】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９４】
１０３：動き検出部  １０４：簡易プログレッシブ画像生成部
１０５：エッジ検出部  １０６：フィールド内補間画素生成部
１０７：補間画素生成部  １０８：倍速変換部  １０９：スケーラ部
【図１】
2016184881.tif 000004
【図２】
2016184881.tif 000005
【図３】
2016184881.tif 000006
【図４】
2016184881.tif 000007
【図５】
2016184881.tif 000008
【図６】
2016184881.tif 000009
【図７】
2016184881.tif 000010
【図８】
2016184881.tif 000011
【図９】
2016184881.tif 000012
【図１０】
2016184881.tif 000013
【図１１】
2016184881.tif 000014
【図１２】
2016184881.tif 000015
【図１３】
2016184881.tif 000016
【図１４】
2016184881.tif 000017
【図１５】
2016184881.tif 000018
【図１６】
2016184881.tif 000019