(57)【要約】【課題】入力画像における斜め方向部分の検出精度を向上させることができ、誤補完の発生を抑制することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供すること。【解決手段】インターレース方式の入力画像に２次元のフィルタ演算を行なう複数の２次元フィルタ部９０〜９４と、複数の２次元フィルタから出力された複数の画像それぞれと入力画像との相関を、入力画素の注目画素近辺の複数の画素を用いて算出し、最も相関のある画像を示す識別情報を出力する相関判定部８０と、相関判定部が出力した識別情報に基づいて、注目画素の補完方法を選択する補完器８１とを有することを特徴とする。【選択図】図１０
2009302915.tif 000002
【特許請求の範囲】
【請求項１】
インターレース方式の入力画像に２次元のフィルタ演算を行なう複数の２次元フィルタ部と、
前記複数の２次元フィルタから出力された複数の画像それぞれと前記入力画像との相関を、前記入力画素の注目画素近辺の複数の画素を用いて算出し、最も相関のある画像を示す識別情報を出力する相関判定部と、
前記相関判定部が出力した識別情報に基づいて、前記注目画素の補完方法を選択する補完器と、
を有する、画像処理装置。
【請求項２】
前記２次元フィルタ部は、
前記注目画素を含むライン上に水平に並ぶ画素に対してローパスフィルタ処理する水平ローパスフィルタ部、及び所定の斜め方向に配列された画素に対してローパスフィルタ処理する斜めローパスフィルタ部のいずれか、
または、前記水平ローパスフィルタ部と前記斜めローパスフィルタ部との縦続接続で構成され、
前記補完部は、最も相関の強いと判定された斜め方向に沿って、前記注目画素の上下のラインの画素に基づいて第１の補完値を生成する、請求項１に記載の画像処理装置。
【請求項３】
＋ｎ方向と−ｎ方向の前記斜めローパスフィルタ部に接続された前記水平ローパスフィルタ部の遮断周波数が、下記の数式１で決定される、請求項２に記載の画像処理装置。
Ｋ×（ｆｓ／２）／ｎ  ・・・数式１
ここで、＋ｎ方向とは、前記斜めローパスフィルタ部で使用する画素が、インターレース画像において、前記注目画素を含むラインより１ライン分上で２ｎ画素分右にある方向を意味し、
−ｎ方向とは、前記斜めローパスフィルタ部で使用する画素が、インターレース画像において、前記注目画素を含むラインより１ライン分上で２ｎ画素分左にある方向を意味し、
ｆｓ／２は、水平方向のナイキスト周波数を表し、
Ｋは、前記入力画像に含まれる高周波成分により決定される固定または可変の係数である。
【請求項４】
前記補完部は、前記第１の補完値と、前記相関判定部の相関判定とは関係なく一意に生成された第２の補完値とを生成し、
前記相関判定部は、前記識別情報と共に、前記複数の２次元フィルタから出力された画像と前記入力画像との相関の程度を表す相関度を生成し、
前記相関度を用いて、前記第１の補完値と前記第２の補完値とを混合する混合部を有する、請求項２に記載の画像処理装置。
【請求項５】
前記２次元フィルタ部は、
前記注目画素を含むライン上に水平に並ぶ画素に対してローパスフィルタ処理する水平ローパスフィルタ部、及び所定の斜め方向に配列された画素に対してローパスフィルタ処理する斜めローパスフィルタ部のいずれか、
または、前記水平ローパスフィルタ部と前記斜めローパスフィルタ部との縦続接続で構成され、
前記補完部は、最も相関の強いと判定された斜め方向に沿って、対応する前記水平ローパスフィルタ部が出力した画像の注目画素の上下のラインの画素に基づいて補完値を生成する、請求項１に記載の画像処理装置。
【請求項６】
＋ｎ方向と−ｎ方向の前記斜めローパスフィルタ部に接続された前記水平ローパスフィルタ部の遮断周波数が、下記の数式１で決定される、請求項５に記載の画像処理装置。
Ｋ×（ｆｓ／２）／ｎ  ・・・数式１
ここで、＋ｎ方向とは、前記斜めローパスフィルタ部で使用する画素が、インターレース画像において、前記注目画素を含むラインより１ライン分上で２ｎ画素分右にある方向を意味し、
−ｎ方向とは、前記斜めローパスフィルタ部で使用する画素が、インターレース画像において、前記注目画素を含むラインより１ライン分上で２ｎ画素分左にある方向を意味し、
ｆｓ／２は、水平方向のナイキスト周波数を表し、
Ｋは、前記入力画像に含まれる高周波成分により決定される固定または可変の係数である。
【請求項７】
インターレース方式の入力画像に複数のパターンで２次元のフィルタ演算を行なうステップと、
前記２次元のフィルタ演算がされて出力された複数の画像それぞれと前記入力画像との相関を、前記入力画素の注目画素近辺の複数の画素を用いて算出し、最も相関のある画像を示す識別情報を出力するステップと、
前記識別情報に基づいて、前記注目画素の補完方法を選択するステップと、
を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
テレビジョン受信機やデジタルビデオカメラなどの画像を表示する装置には、画像を補完し解像度を向上させる補完技術、特にインターレース方式の映像をプログレッシブ方式の映像に変換する走査線補完技術がある。
【０００３】
インターレース方式では、１フレームの映像は、第１フィールドの映像と、第２フィールドの映像からなり、それぞれの走査線は交互に配置された位置関係にあり、順次に表示される。インターレース方式の映像をプログレッシブ方式の映像に変換するには、１フィールドの映像信号に対し、補完により走査線を追加し、１フレームのプログレッシブ映像に変換する走査線補完を行なわなければならない。
【０００４】
一般には、インターレース方式の映像が静止画の場合、前後のフィールドのいずれか又は前後のフィールドの平均をとることによって、補完走査線を生成するというフィールド間補完方法が行なわれる。一方、インターレース方式の映像が動画の場合、フィールド内補完によって行なわれる。また、映像に静止画部分と動画部分がある場合は、静止画と動画に分け、それぞれフィールド間補完とフィールド内補完を行なう。
【０００５】
フィールド内補完は、単純には、補完する画素（注目画素）の上下の画素の平均から走査線を生成する方法であるが、この方法では、映像に斜めに延びる部分がある場合に、ジャギー（斜め部分が段差状に表示される）が発生する。これに対処するため、補完画素を中心として点対称な位置にある複数の画素の組の中から、最も相関性が高い組を検出し、その方向に上下ラインの画素の平均から走査線を生成する斜め補完方法がある。
【０００６】
しかし、斜めに延びる部分を補完する斜め補完方法では、しばしば相関の検出を誤る問題があった。このため、近年ではフィールド間で動きベクトルを求め、それ応じてフィールド間の情報を用いて補完する動きベクトル補完も行なわれるが、動きベクトルを算出するための演算量が膨大になるという問題がある。
【０００７】
（本明細書における方向の定義）
ここで、図１を参照して、本明細書における画素の位置の定義を説明する。図１は、インターレース方式の画素の配列を示す説明図である。以下では、この位置の定義を用いて説明をする。図１で、注目画素Ｔは現在補完しようとしている画素（補完画素）を示している。注目画素Ｔを除く画素（Ａ［ｎ］，Ｂ［ｎ］，Ｃ［ｎ］，Ｄ［ｎ］）は、入力された１フィールドのインターレース画像のうち、注目画素の周辺の画素を示している。注目画素（補完画素）Ｔと同一の列を［０］とし、［０］に対して右方向の画素を［＋ｎ］で表し、左方向の画素を［−ｎ］で表した。また、注目画素Ｔの直上の画素のラインをＢ、その上のラインをＡとし、注目画素Ｔの直下の画素のラインをＣ、その下のラインをＤとした。
そして、「ｎ方向」とは、Ｂ［＋ｎ］とＣ［−ｎ］を結んだ直線の方向をいう。また、「＋０．５方向」とは、Ｂ［＋１］とＣ［０］を結んだ直線の方向をいい、「−０．５方向」とは、Ｂ［−１］とＣ［０］を結んだ直線の方向をいう。
【０００８】
（従来の一般的な斜め補完の検出方法）
上述した従来の一般的な斜め補完方法について説明する。斜め方向−４、−３、−２、−１、０、＋１、＋２、＋３、＋４方向を検出して補完する場合を例に説明する。なお、０方向は、画素のラインに対して垂直方向であるが、以下では、０方向も含めて斜め方向という。従来の一般的な斜め方向補完装置は、図２に示すとおり、例えば、斜め方向差分絶対値生成部６０〜６８、判定器７０及び補完器８１からなる。図２は、従来の斜め方向補完装置を示すブロック図である。
【０００９】
斜め方向差分絶対値生成部６０〜６８は、同一画像内で斜め方向に沿った画素の差分絶対値を計算する。ｎ方向の差分Ｄｉｆｆ（ｎ）１６０〜１６８は、
Ｄｉｆｆ（ｎ）＝｜Ｂ（ｎ）−Ｃ（−ｎ）｜
で算出される。
【００１０】
判定器７０は、差分絶対値１６０〜１６８に基づいて周囲の画素を総和して、各斜め方向の相関値を生成する。
例えば、特許文献１では、同一ラインの差分絶対値を用いて、下記の式で相関値を計算する技術が開示されている。図３（Ａ）に、−２方向の相関値を計算する場合について図示する。図３は、画素配列と、従来の相関値計算の範囲を示す説明図である。
Ｓ（ｎ）＝Σ｜Ｂ（ｋ＋ｎ）−Ｃ（ｋ−ｎ）｜
（Σは、ｋ＝−７〜＋７で加算）
また、例えば、特許文献２では、周囲の差分絶対値を用いて、下記の式で相関値を計算する技術が開示されている。図３（Ｂ）に、−２方向の相関値を計算する場合について図示する。
Ｓ（ｎ）＝Σ（｜Ａ（ｋ＋ｎ）−Ｂ（ｋ−ｎ）｜＋｜Ｂ（ｋ＋ｎ）−Ｃ（ｋ−ｎ）｜＋｜Ｃ（ｋ＋ｎ）−Ｄ（ｋ−ｎ）｜）
（Σはｋ＝−１〜＋１で加算）
また、例えば、特許文献３では、差分絶対値にＬＰＦ（ローパスフィルタ）を適応して、相関値を計算する技術が開示されている。この技術では、周囲の差分絶対値に重み付けて、総和を求める処理と等しい。
【００１１】
判定器７０が出力する相関値は、全ての斜め方向で計算される。判定器７０は、図２の例では、Ｓ（−４）、Ｓ（−３）、Ｓ（−２）、Ｓ（−１）、Ｓ（０）、Ｓ（１）、Ｓ（２）、Ｓ（３）、Ｓ（４）を計算する。判定器７０は、各斜め方向の相関値のうち最小値となった方向を、相関の強い方向として、識別番号１８０を出力する。例えば、図１（Ｂ）に示すような−２方向の相関値であるＳ（−２）が最小値であった場合、ＩＤ＝−２が出力される。
【００１２】
補完器８１は、相関の強い方向に沿って、２画素の平均を算出する。相関方向がｎの場合、補完値１８１は、
Ｔ＝（Ｂ（ｎ）＋Ｃ（−ｎ））／２
で算出される。
【００１３】
図４を参照して、斜め線方向の検出と補完の具体例を説明する。図４は、画素配列を示し、−３方向の細線を示す模式図（Ａ）及び補完画像を示す説明図（Ｂ），（Ｃ）である。図４では、色の濃さが輝度を表すとする（以下、他の図でも同様）。例えば、白：Ｙ＝２４０、濃い灰色：Ｙ＝１６０、薄い灰色：Ｙ＝８０、黒：Ｙ＝０とする。
【００１４】
−３方向の差分絶対値は、対応する２画素の値が常に一致するため、全て０（ゼロ）になる。他の方向の差分絶対値は、細線の周囲で差分が生じる。従って、注目画素の周囲の差分絶対値の総和を計算し比較すれば、斜め線は「−３方向」と検出できる。そして、検出された−３方向で補完すると、補完画像は、図４（Ｂ）に示すように、−３方向の細線を表示し、正しい補完画像が得られる。
【００１５】
【特許文献１】特開２００４−２０１３０８号公報
【特許文献２】特開２００４−２５４２７３号公報
【特許文献３】特開平４−３５５５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、（１）従来技術の斜め方向補完装置では、走査線方向（例えば水平方向）に近い斜め方向を検出できないという問題があった。走査線方向に近い斜め方向を検出するため、検出方向を増やしてもよいが、誤検出する可能性が増加するためである。そのため、検出方向に対応していない斜め方向の部分があった場合、その斜め方向は補完できないこととなり、ジャギーが発生するという問題があった。
また、（２）繰り返しのある画像で斜め方向の誤補完が発生するという問題があった。例えば、入力画像に、すのこ、すだれ、平行な電線、字幕スクロールなどが含まれるとき、映像のちらつきが生じた。
更に、（３）細線のある画像で斜め方向の誤補完が発生するという問題があった。例えば、入力画像に電線などの細線が含まれるとき、細線が分断され、映像のちらつきが生じた。
また、（４）上記誤検出による補完結果を斜め方向検出後に補正する方法もあるが、問題の解決には至っていなかった。
【００１７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力画像における斜め方向部分の検出精度を向上させることができ、誤補完の発生を抑制することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明のある観点によれば、インターレース方式の入力画像に２次元のフィルタ演算を行なう複数の２次元フィルタ部と、複数の２次元フィルタから出力された複数の画像それぞれと入力画像との相関を、入力画素の注目画素近辺の複数の画素を用いて算出し、最も相関のある画像を示す識別情報を出力する相関判定部と、相関判定部が出力した識別情報に基づいて、注目画素の補完方法を選択する補完器とを有する画像処理装置が提供される。
【００１９】
上記２次元フィルタ部は、注目画素を含むライン上に水平に並ぶ画素に対してローパスフィルタ処理する水平ローパスフィルタ部、及び所定の斜め方向に配列された画素に対してローパスフィルタ処理する斜めローパスフィルタ部のいずれか、または、水平ローパスフィルタ部と斜めローパスフィルタ部との縦続接続で構成され、補完部は、最も相関の強いと判定された斜め方向に沿って、注目画素の上下のラインの画素に基づいて第１の補完値を生成してもよい。
【００２０】
＋ｎ方向と−ｎ方向の斜めローパスフィルタ部に接続された水平ローパスフィルタ部の遮断周波数が、下記の数式１で決定されてもよい。
Ｋ×（ｆｓ／２）／ｎ  ・・・数式１
ここで、＋ｎ方向とは、斜めローパスフィルタ部で使用する画素が、インターレース画像において、注目画素を含むラインより１ライン分上で２ｎ画素分右にある方向を意味し、
−ｎ方向とは、斜めローパスフィルタ部で使用する画素が、インターレース画像において、注目画素を含むラインより１ライン分上で２ｎ画素分左にある方向を意味し、
ｆｓ／２は、水平方向のナイキスト周波数を表し、
Ｋは、入力画像に含まれる高周波成分により決定される固定または可変の係数である。
【００２１】
上記補完部は、第１の補完値と、相関判定部の相関判定とは関係なく一意に生成された第２の補完値とを生成し、相関判定部は、識別情報と共に、複数の２次元フィルタから出力された画像と入力画像との相関の程度を表す相関度を生成し、相関度を用いて、第１の補完値と第２の補完値とを混合する混合部を有してもよい。
【００２２】
上記２次元フィルタ部は、注目画素を含むライン上に水平に並ぶ画素に対してローパスフィルタ処理する水平ローパスフィルタ部、及び所定の斜め方向に配列された画素に対してローパスフィルタ処理する斜めローパスフィルタ部のいずれか、または、水平ローパスフィルタ部と斜めローパスフィルタ部との縦続接続で構成され、補完部は、最も相関の強いと判定された斜め方向に沿って、対応する水平ローパスフィルタ部が出力した画像の注目画素の上下のラインの画素に基づいて補完値を生成してもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、インターレース方式の入力画像に複数のパターンで２次元のフィルタ演算を行なうステップと、２次元のフィルタ演算がされて出力された複数の画像それぞれと入力画像との相関を、入力画素の注目画素近辺の複数の画素を用いて算出し、最も相関のある画像を示す識別情報を出力するステップと、識別情報に基づいて、注目画素の補完方法を選択するステップとを含む画像処理方法が提供される。
【発明の効果】
【００２４】
本発明によれば、入力画像における斜め方向部分の検出精度を向上させることができ、誤補完の発生を抑制することができる。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
（第１の実施形態）
まず、本発明の第１の実施形態に係る画像処理装置が解決する課題について詳細に説明する。
【００２７】
繰り返しのある画像に対する従来の斜め方向の検出及び補完処理について図５を参照して説明する。図５は、画素配列を示し、繰り返し画像を示す模式図（Ａ）及び補完画像を示す説明図（Ｂ），（Ｃ）である。図５は、例えば、画像内容がすだれなどであり、＋０．２５方向の斜め部分を有する繰り返しのある画像の模式図である。
【００２８】
図５の斜め方向は、人間の目には垂直に近い斜め方向と認識できる。このとき、図２に示す従来の一般的な斜め方向補完装置は、０方向に最も強い相関があると検出すべきである。しかし、従来の差分絶対値総和方法の場合、図５（Ａ）において、−３方向は、対応する２画素の値が同じなので、−３方向の差分絶対値が常に０となる。一方、０方向は、細線の周囲で差分が生じている。従って、−３方向の差分絶対値が全て０なので、どのような手法で周囲の差分絶対値を加算しても、−３方向の相関値は０になる。そのため、従来の斜め方向補完装置は、斜め方向が−３方向であるとして誤検出する。
【００２９】
図５（Ａ）の繰り返しのある画像を、０方向で補完すれば、図５（Ｂ）に示すように正しい画像が得られる。しかし、従来の斜め方向補完装置は、−３方向と誤検出するため、−３方向で補完すると、図５（Ｃ）に示すように誤った画像が得られることとなる。
【００３０】
次に、従来の斜め方向補完装置の検出方向を増やすと、誤検出が増加するという問題点について説明する。例えば、図５（Ａ）に示す＋０．２５方向の斜め部分を有する繰り返しのある画像の場合、−２〜＋２方向のみからなる斜め方向補完装置は、−３方向を検出しないため、０方向が最も相関がある方向として検出し、正しい結果が得られる。一方、−３〜＋３方向からなる斜め方向補完装置のように、検出可能な方向が増えると、斜め方向補完装置は−３方向が最も相関がある方向として、結果的に誤検出してしまう。更に、例えば−４〜＋４方向からなる斜め方向補完装置は、−３方向や＋４方向を検出するというように、誤検出が増加するという結果をもたらす。
【００３１】
また、誤検出による補完結果を斜め方向検出後に補正する方法の問題点について説明する。誤検出による補完結果を補正する方法が公開公報でも数多く示されているが、繰り返しのある画像の補正は困難である。注目画素の周囲の広範囲で誤った検出が発生するためである。例えば、特許文献１では、（１）検出方向を、メディアンフィルタや連続性検査アルゴリズムで補正する実施例が記載されている。しかし、繰り返し画像の場合、注目画素の周囲の全てが−３方向に検出されてしまうので、検出した方向に対してどのように演算しても補正不可能であるという問題がある。
【００３２】
また、（２）斜め補完の結果を０方向補完（上下補完）の画像と比較し、斜め補完の結果と０方向補完の画像との差が大きければ０方向補完の結果を採用する実施例が記載されている。図５（Ａ）の場合、−３方向補完の図５（Ｃ）と０方向補完の画像を比較すると差が大きいため、図５（Ａ）と同様に注目画素の上下方向が白色である０方向補完の図５（Ｂ）が採用される。その結果、正しい画像が得られる。
【００３３】
しかし、図４（Ａ）のような細線の画像で、図４（Ｂ）のように−３方向が正しく検出されて補完された場合にも、０方向補完の画像が採用されるという問題が発生する。即ち、−３方向補完の図４（Ｂ）のように注目画素が黒色に正しく補完されても、−３方向補完の図４（Ｂ）と０方向補完の画像を比較すると差が大きいため、０方向補完の図４（Ｃ）が採用されてしまう。そのため、図４（Ｃ）に示すように誤補完が発生し、細線が分断するという問題があった。
【００３４】
次に、従来の斜め方向の検出及び補完処理を用いる差分絶対値による斜め方向補完装置の問題点を、周波数特性を用いて説明する。図１（Ｂ）に示すような−２方向を例にして従来の斜め方向補完装置の特性を説明する。
【００３５】
−２方向に沿った２画素の差分の周波数特性は、図６（Ａ）の３次元のグラフで表せられる。図６は、−２方向に沿った２画素の差分の周波数特性を示すグラフである。図６（Ａ）は、右上軸が水平周波数−ｆｓ／２〜＋ｆｓ／２、左上軸が垂直周波数−ｆｓ／２〜＋ｆｓ／２、上方向が振幅を表す。この特性は、特許文献３にも記載されている。
【００３６】
説明のため、図６（Ａ）を図６（Ｂ）のように２次元で簡易的に示す。ここで、横軸が水平周波数−ｆｓ／２〜＋ｆｓ／２、縦軸が垂直周波数−ｆｓ／２〜＋ｆｓ／２であり、振幅が１／２になる所を境に色分けする。阻止領域を色の付いた部分で表わし、通過領域を白い部分で表す。
従来の斜め方向補完装置は、差分が小さい程相関が大きいと判定する。従って、入力画像に通過領域の成分が無いことを検出すると、差分が小さい方向を検出しているといえる。一方、入力画像に通過領域の成分があることを検出すると、差分が大きい方向を検出しているといえる。
【００３７】
具体例として、図７を参照して、一方向にのみ相関のある画像の周波数特性について説明する。図７（Ａ）は、−２方向の物体の画像である。図７（Ｂ）は、−２方向の物体の画像の周波数特性を示すグラフである。図７（Ｂ）では、濃い部分の周波数帯に、信号が存在していることを示している。一般的に、図７（Ａ）のように一方向にのみ相関がある画像の周波数特性は、一直線上に並ぶ。斜め方向の検出処理は、この特性を検出すればよい。
【００３８】
間引きのない画像（つまりプログレッシブ）の場合、物体が延在する方向（矢印Ａの方向）では、周波数特性は、図７（Ｂ）に示すように、矢印Ａの方向で高周波が存在しない。一方、物体が延在する方向に対して垂直の方向（矢印Ｂの方向）では、物体にエッジがあるので、周波数特性は、図７（Ｂ）に示すように、矢印Ｂの方向で様々な成分が含まれる。
【００３９】
ここで、図６（Ｂ）に示す差分の周波数特性と、図７（Ｂ）に示す−２方向の物体の画像の周波数特性とを比較する。
原点（０，０）を通過する阻止領域は、物体の検出に使用できる周波数領域である。従って、原点（０，０）を通過する領域だけでも、−２方向の物体は検出可能である。一方、その他の阻止領域は、検出に使用する必要のない周波数領域である。そのため、従来の検出方法では、検出に必要のない領域にある周波数を、多数検出していることが分かる。
【００４０】
具体例として、次に、図５に示したような、繰り返しのある画像の周波数特性について説明する。図５の繰り返し画像は、＋０．２５方向に斜め方向の繰り返しのある物体があるが、従来の斜め方向検出処理では−３方向が誤検出される画像である。繰り返し画像の周波数特性を図８上段に示す。図８上段の網掛けで示す周波数帯に、信号が存在していることが示されている。図８は、繰り返し画像の周波数特性を示すグラフ及び０方向及び−３方向に沿った２つの画素の差分の周波数特性を示すグラフである。
【００４１】
一般的に、物体の延在する斜め方向が一方向であり、かつ、繰り返しのある画像の周波数特性は、物体の斜め方向と垂直方向に一直線上に並ぶが、特定の周波数領域に偏りがある。従って、物体が１つである画像と同様、繰り返しのある画像でも、斜め方向の検出処理は一直線に並んでいる特性を検出すればよい。
【００４２】
しかし、従来の斜め方向補完装置の０方向の検出器では、阻止領域は繰り返し画像の周波数特性と一致する。しかし、上述したように阻止領域はゲインが１／２以下の周波数を表しており、この場合は、阻止領域の中心である水平周波数軸から外れているため、０方向検出器の検出結果は小さな値になるが、完全には０にならない。一方、−３方向の検出器では、阻止領域が繰り返し画像の周波数と完全に一致し、０になる。そのため、従来の斜め方向補完装置は、斜め方向が−３方向であると検出する。このように、従来の検出処理では、検出に使用する必要のない領域が多数あるため、検出に必要な領域で阻止した場合でも、物体の斜め方向と異なる相関が強い方向を検出してしまうという問題があった。
【００４３】
一方、本来必要な検出の部分（原点を通る阻止領域、例えば図８の−３方向の検出器の周波数特性の黒色で示した部分）だけを検出していれば、誤った検出は行なわれない。このように、従来方法で誤補完が発生するのは、検出する必要のない領域が多数あるのが根本原因であった。
【００４４】
そこで、本実施形態では、従来の斜め方向部分の検出精度を向上させ、動きベクトル補完と異なり膨大な演算量を必要としない画像処理装置を提供する。そして、従来の斜め補完の問題点である水平方向に近い斜め線のジャギー、繰り返しのある画像の誤補完、細線の分断などの発生を抑える画像処理装置を提供する。
【００４５】
ここで、図１を参照して、本実施形態における画素の位置の定義を説明する。図１は、インターレース方式の画素の配列を示す説明図である。以下では、この位置の定義を用いて説明をする。図１で、注目画素Ｔは現在補完しようとしている画素（補完画素）を示している。注目画素Ｔを除く画素（Ａ［ｎ］，Ｂ［ｎ］，Ｃ［ｎ］，Ｄ［ｎ］）は、入力された１フィールドのインターレース画像のうち、注目画素の周辺の画素を示している。注目画素（補完画素）Ｔと同一の列を［０］とし、［０］に対して右方向の画素を［＋ｎ］で表し、左方向の画素を［−ｎ］で表した。また、注目画素Ｔの直上の画素のラインをＢ、その上のラインをＡとし、注目画素Ｔの直下の画素のラインをＣ、その下のラインをＤとした。
そして、「ｎ方向」とは、Ｂ［＋ｎ］とＣ［−ｎ］を結んだ直線の方向をいう。また、「＋０．５方向」とは、Ｂ［＋１］とＣ［０］を結んだ直線の方向をいい、「−０．５方向」とは、Ｂ［−１］とＣ［０］を結んだ直線の方向をいう。なお、本実施形態では、０方向も含めて斜め方向という。
【００４６】
図９を参照して、本発明の第１の実施形態に係る画像処理装置について説明する。図９は、本実施形態に係る画像処理装置を示すブロック図である。
【００４７】
本実施形態に係る画像処理装置は、水平ＬＰＦ１１〜１４、斜めＬＰＦ２０〜３０、相関判定器８０及び補完器８１からなる。なお、図１０は、本実施形態に係る画像処理装置を示すブロック図であり、図９に示すブロック図を上位概念化して示したブロック図である。例えば、２Ｄフィルタ９０は、斜めＬＰＦ２０に該当し、２Ｄフィルタ９１は、水平ＬＰＦ１１及び斜めＬＰＦ２１から構成される。同様に、２Ｄフィルタ９２は、水平ＬＰＦ１１及び斜めＬＰＦ２２から構成され、２Ｄフィルタ９３は、水平ＬＰＦ１２及び斜めＬＰＦ２３から構成され、２Ｄフィルタ９４は、水平ＬＰＦ１２及び斜めＬＰＦ２４から構成される。図９では水平ＬＰＦ１１や水平ＬＰＦ１２は共通のブロック図で示しているが，これは後述するように水平ＬＰＦ処理が共通化できるためである。図１０では５つの２次元フィルタを配置して相関判定器で５つの方向を判定する例を示しているが、判定する方向の数により２次元フィルタの数は増減する。
【００４８】
従来と本実施形態では、まず、相関値の検出方法が異なる。従来では、同一画像内の斜め方向に沿った画素の差分から相関値を生成していた。一方、本実施形態では、入力画像１００と、入力画像１００に水平ＬＰＦ（ローパスフィルタ）１１〜１４と斜めＬＰＦ（ローパスフィルタ）２０〜３０を適用した画像１２０〜１３０との差分から相関値を生成する。
【００４９】
水平ＬＰＦ１１〜１４は、注目画素を含むライン上に水平に並ぶ画素に対してＬＰＦ処理する。水平ＬＰＦ１１は、＋１方向及び−１方向の斜めＬＰＦ２１，２２の前段に縦続され、水平ＬＰＦ１２は、＋２方向及び−２方向の斜めＬＰＦ２３，２４の前段に縦続される。水平ＬＰＦ１３は、＋３方向及び−３方向の斜めＬＰＦ２５，２６の前段に縦続され、水平ＬＰＦ１４は、＋４方向及び−４方向の斜めＬＰＦ２７，２８の前段に縦続される。
【００５０】
斜めＬＰＦ２０〜３０は、所定の斜め方向に沿って配列された画素に対してＬＰＦ処理する。斜めＬＰＦ２０は、０方向に沿って配列された画素、例えば、注目画素及び注目画素の直上及び直下の画素に対して、ＬＰＦ処理する（１／４，１／２，１／４）の係数を有するフィルタである。斜めＬＰＦ２１は、−１方向に沿って配列された画素、例えば、注目画素及び注目画素の斜め上方及び斜め下方の画素に対して、ＬＰＦ処理する（１／４，１／２，１／４）の係数を有するフィルタである。
【００５１】
同様に、斜めＬＰＦ２２は、−１方向に沿って配列された画素に対してＬＰＦ処理し、斜めＬＰＦ２３は、＋２方向に沿って配列された画素に対してＬＰＦ処理し、斜めＬＰＦ２４は、−２方向に沿って配列された画素に対してＬＰＦ処理する。また、斜めＬＰＦ２５は、＋３方向に沿って配列された画素に対してＬＰＦ処理し、斜めＬＰＦ２６は、−３方向に沿って配列された画素に対してＬＰＦ処理し、斜めＬＰＦ２７は、＋４方向に沿って配列された画素に対してＬＰＦ処理し、斜めＬＰＦ２８は、−４方向に沿って配列された画素に対してＬＰＦ処理する。更に、斜めＬＰＦ２９は、＋０．５方向に沿って配列された画素に対してＬＰＦ処理し、斜めＬＰＦ３０は、−０．５方向に沿って配列された画素に対してＬＰＦ処理する。
【００５２】
斜めＬＰＦ２０，２９，３０は、斜めＬＰＦ２１〜２８と異なり、水平ＬＰＦと接続されていない。入力画像１００は、水平ＬＰＦ１１〜１４で処理されて画像１１１〜１１４として斜めＬＰＦ２１〜２８に出力される。画像１１１〜１１４は、斜めＬＰＦ２１〜２８で処理されて画像１２１〜１２８として相関判定器８０に出力される。入力画像１００は、斜めＬＰＦ２０，２９，３０で処理されて画像１２０，１２９，１３０として相関判定器８０に出力される。
【００５３】
次に、本実施形態の画像処理装置の全体的な動作について説明する。図１１は、本実施形態の画像処理装置の動作を示すフローチャートである。
まず、入力画像１００として、例えば、輝度が入力される（ステップＳ１０１）。なお、本発明は輝度に限定されない。
そして、比較用の画像が生成される（ステップＳ１０２）。即ち、入力画像１００に、水平ＬＰＦ１１〜１４と斜めＬＰＦ２０〜３０を適用して、一方向の斜め成分を通過させた比較画像１２０〜１３０を生成する。
つぎに、相関判定器８０が、入力画像１００と上記生成した比較画像１２０〜１３０とを、それぞれ、注目（補完）画素位置の周囲の画素で相関値を求める（ステップＳ１０３）。そして、相関判定器８０が、入力画像と最も相関の強い比較画像の識別番号１８０を出力する（ステップＳ１０４）。相関値は、２つの画像の差分絶対値の周囲の和で演算される。その後、補完器８１が、識別番号１８０に従って、斜め方向に沿った補完を行なう（ステップＳ１０５）。各動作の詳細については、後述する。
【００５４】
次に、本実施形態の水平ＬＰＦ１１〜１４について説明する。
本実施形態の水平ＬＰＦ１１〜１４は、±ｎ方向検出用の特性として、Ｋ×（ｆｓ／２）／ｎを遮断周波数とする。ここで、ｆｓ／２は、プログレッシブ画像の垂直方向のナイキスト周波数であり、Ｋは、入力ソースの特性により決定される係数である。
【００５５】
係数Ｋについて説明する。ここでは、振幅が１／２に低下する周波数を遮断周波数として説明する。ＨＤテレビのように、ナイキスト周波数近くまで高周波を含むソースがある場合、その高周波が通過するよう、Ｋは大きめに設計するとよい。例えばＫ＝１．０とする。
一方、家庭用ビデオカメラのように、入力ソースの特性が既知の場合、高周波が通過する範囲でＫが小さくなるよう設計するとよい。例えばＫ＝０．７５とする。
また、係数Ｋを切り替えられるようにしてもよい。例えば、アナログ入力を備えたＨＤテレビにおいて、Ｋ＝０．７５とＫ＝１．０のフィルタを切り替えられるようにしておく。
更に、静止画からプログレッシブ方式の画像を生成し、垂直周波数特性を検出して、Ｋを場面ごとに細かく制御してもよい。これにより、誤検出する周波数領域が減るため、最大周波数が既知の場合、Ｋを小さくすることで、誤った斜め方向を検出するのを抑えることができる。
【００５６】
遮断周波数Ｋ＝０．７５の場合の具体例を説明する。
０方向検出器のＬＰＦ：スルー（設けない）
±０．５方向検出器のＬＰＦ：スルー（設けない）（１．５×（ｆｓ／２）がｆｓ／２より十分大きいため、ＬＰＦは不要である）
±１方向検出器のＬＰＦ１１：０．７５×（ｆｓ／２）
±２方向検出器のＬＰＦ１２：０．３７５×（ｆｓ／２）
±３方向検出器のＬＰＦ１３：０．２５×（ｆｓ／２）
±４方向検出器のＬＰＦ１４：０．１８７５×（ｆｓ／２）
【００５７】
図９では、０方向と±０．５方向は、ＬＰＦが不要であるため、ＬＰＦのブロックを記載していない。また、図９で示す本実施形態の画像処理装置では、水平ＬＰＦの共通化を図っている。水平ＬＰＦ１１〜１４と斜めＬＰＦ２０〜３０の順序は問わないが、図９に示す本実施形態では、水平ＬＰＦ１１〜１４を先にして、＋ｎ方向の斜めＬＰＦと−ｎ方向の斜めＬＰＦは共通の水平ＬＰＦを使用する。これにより、ソフトウェアで構成した場合、演算量を削減することができる。また、ハードウェアで構成した場合、回路規模を削減することができる。
【００５８】
水平ＬＰＦ１１〜１４は、どの様な方法で構成してもよい。例えば、ＦＩＲ（finite  impulse  response）フィルタで構成できる。ＦＩＲフィルタによれば、構成が明確で、安定した動作を見込むことができる。また、ＩＩＲ（infinite  impulse  response）フィルタで構成することもできる。ＩＩＲフィルタによれば、少ないタップ数で実現できるので、ハードで構成する場合、回路規模を削減できる。特に、斜め方向を増やすと、遮断周波数が低くなる。そのため、ＦＩＲフィルタの場合、タップ数が増えるため、ＩＩＲの方が有利である。
【００５９】
水平ＬＰＦ１１〜１４を、係数Ｋ＝０．７５のＦＩＲフィルタで構成した場合を示す。
Ｂ［０］位置の±ｎ方向の水平ＬＰＦをＦｎ（Ｂ［０］）で表す。なお、０方向、±０．５方向は、Ｋ＝０．７５ではＬＰＦは不要である。
Ｆ１（Ｂ［０］）＝｛７６８×Ｂ［０］＋１９４×（Ｂ［−１］＋Ｂ［１］）−７６×（Ｂ［−２］＋Ｂ［２］）＋１０×（Ｂ［−３］＋Ｂ［３］）｝／１０２４
Ｆ２（Ｂ［０］）＝｛３８４×８［０］＋２８３×（Ｂ［−１］＋Ｂ［１］）＋８９×（Ｂ［−２］＋Ｂ［２］）−２４×（Ｂ［−３］＋Ｂ［３］）−２５×（Ｂ［−４］＋Ｂ［４］）−３×（Ｂ［−５］＋Ｂ［５］）｝／１０２４
Ｆ３（Ｂ［０］）＝｛２５６×８［０］＋２１９×（Ｂ［−１］＋Ｂ［１］）＋１３３×（Ｂ［−２］＋Ｂ［２］）＋４８×（Ｂ［−３］＋Ｂ［３］）＋０×（Ｂ［−４］＋Ｂ［４］）−１１×（Ｂ［−５］＋Ｂ［５］）−５×（Ｂ［−６］＋Ｂ［６］）｝／１０２４
Ｆ４（Ｂ［０］）＝｛１９２×Ｂ［０］＋１７６×（Ｂ［−１］＋Ｂ［１］）＋１３２×（Ｂ［−２］＋Ｂ［２］）＋７９×（Ｂ［−３］＋Ｂ［３］）＋３３×（Ｂ［−４］＋Ｂ［４］）＋５×（Ｂ［−５］＋Ｂ［５］）−５×（Ｂ［−６］＋Ｂ［６］）−４×（Ｂ［−７］＋Ｂ［７］）｝／１０２４
【００６０】
この具体例で示す水平ＬＰＦの振幅特性を図１２に示す。ｄｉｒ１がＦ１（Ｂ［０］）に該当し、ｄｉｒ２がＦ２（Ｂ［０］）に該当し、ｄｉｒ３がＦ３（Ｂ［０］）に該当し、ｄｉｒ４がＦ４（Ｂ［０］）に該当する。横軸が周波数０〜ｆｓ／２を表し，縦軸が振幅を表し、振幅の最大値がゲイン１（通過領域）であり、最小値がゲイン０（阻止領域）である。以下、１次元の周波数特性を示した振幅特性の図も同様である。
【００６１】
次に、本実施形態の斜めＬＰＦ２０〜３０について説明する。
斜めＬＰＦ２０〜３０は、斜め方向に沿った画素を用いて、例えば（１／４、１／２、１／４）の係数で構成される。
Ｂ［０］画素の位置における＋ｎ方向のフィルタの結果をＧｎ（Ｂ［０］）、−ｎ方向の結果をＨｎ（Ｂ［０］）で表す。但し、＋０．５方向は、Ｇｈ（Ｂ［０］）、−０．５方向は、Ｈｈ（Ｂ［０］）で表す。例えば、Ｂ［０］画素の位置における−２方向の斜めＬＰＦ２４は、Ｈ２（Ｂ［０］）であり、図１３の矢印に示す方向の画素を参照する。図１３は、画素配列を示す説明図である。なお、図１と異なり、基準となる画素は、Ｂ［０］とＣ［０］の間の画素ではなく、Ｂ［０］である点に留意する必要がある。但し、図１のｎ方向と図１３のｎ方向は、平行である。
【００６２】
斜めＬＰＦ２０：  Ｇ０（Ｂ［０］）＝（Ａ［０］＋２×Ｂ［０］＋Ｃ［０］）／４
斜めＬＰＦ２１：  Ｇ１（Ｂ［０］）＝（Ｆ１（Ａ［＋２］）＋２×Ｆ１（Ｂ［０］）＋Ｆ１（Ｃ［−２］）／４
斜めＬＰＦ２３：  Ｇ２（Ｂ［０］）＝（Ｆ２（Ａ［＋４］）＋２×Ｆ２（Ｂ［０］）＋Ｆ２（Ｃ［−４］）／４
斜めＬＰＦ２５：  Ｇ３（Ｂ［０］）＝（Ｆ３（Ａ［＋６］）＋２×Ｆ３（Ｂ［０］）＋Ｆ３（Ｃ［−６］）／４
斜めＬＰＦ２７：  Ｇ４（Ｂ［０］）＝（Ｆ４（Ａ［＋８」）＋２×Ｆ４（Ｂ［０］）＋Ｆ４（Ｃ［−８］）／４
【００６３】
斜めＬＰＦ２２：  Ｈ１（Ｂ［０］）＝（Ｆ１（Ａ［−２］）＋２×Ｆ１（Ｂ［０］）＋Ｆ１（Ｃ［＋２］）／４
斜めＬＰＦ２４：  Ｈ２（Ｂ［０］）＝（Ｆ２（Ａ［−４］）＋２×Ｆ２（Ｂ［０］）＋Ｆ２（Ｃ［＋４］）／４
斜めＬＰＦ２６：  Ｈ３（Ｂ［０］）＝（Ｆ３（Ａ［−６］）＋２×Ｆ３（Ｂ［０］）＋Ｆ３（Ｃ［＋６］）／４
斜めＬＰＦ２８：  Ｈ４（Ｂ［０］）＝（Ｆ４（Ａ［−８］）＋２×Ｆ４（Ｂ［０］）＋Ｆ４（Ｃ［＋８］）／４
【００６４】
斜めＬＰＦ２９：  Ｇｈ（Ｂ［０］）＝（Ａ［＋１］＋２×Ｂ［０］＋Ｃ［−１］）／４
斜めＬＰＦ３０：  Ｈｈ（Ｂ［０］）＝（Ａ［−１］＋２×Ｂ［０］＋Ｃ［＋１］）／４
【００６５】
斜めＬＰＦ２０〜３０は、上述したタップ数や係数に限定されない。本発明の斜めＬＰＦについて、タップ数や係数が異なったＬＰＦで構成しても、本発明の効果を得ることができる。
【００６６】
また、従来の差分方法に比べて、広い周波数範囲領域を検出でき、検出精度を上げられる。図１４の振幅特性を用いて説明する。図１４は、従来のフィルタの振幅特性を示すグラフ（Ａ）及び本実施形態のフィルタの振幅特性を示すグラフ（Ｂ）である。差分による従来方法は、斜め方向の（１、−１）のフィルタと等価であり、図１４（Ａ）には係数が（１／２、−１／２）のＨＰＦの特性を示した。即ち、図１４（Ａ）の矢印の範囲で示す、阻止領域を検出していた。
一方、本実施形態は、斜め方向の係数が（１／４、１／２、１／４）のＬＰＦである。即ち、図１４（Ｂ）の矢印の範囲の通過領域を検出する。振幅特性が１／２になる領域は、図１４に示すように、本実施形態の方が広い。従って、周波数検出範囲が従来技術より広いので、各方向のフィルタで検出できる領域が増える。このため、同じ性能になるように検出器を設計した場合、本実施形態では、検出する方向の数を抑えることができる。
【００６７】
次に、本実施形態に係る相関判定器１８０について説明する。
相関判定器１８０は、入力画像１００とフィルタリングした画像１２０〜１３０を比較し、フィルタリングした画像１２０〜１３０の中から入力画像１００と最も相関の強い画像を検出する。そして、相関判定器１８０は、検出された画像を示す識別番号１８０を出力する。
【００６８】
相関値は、例えば、補完画素の周囲１８画素（水平９、垂直２）の差分の絶対値の総和で求められる。図１５（Ａ）に示すように、周囲１８画素（水平９、垂直２）とすることで、±４方向の細線が検出可能となる。図１５は、画素配列を示しており、相関値を求める際の画素範囲を示す説明図である。相関判定器１８０は、それぞれの相関値の中で、最小の相関値を求め、その識別番号１８０を出力する。
【００６９】
具体的には、相関判定器１８０は、フィルタリングした画像１２０〜１３０と入力画像１００との相関値を以下の通り算出する。
画像１２０と１００の相関：  Ｓ（０）＝Σ｛｜Ｇ０（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｇ０（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２１と１００の相関：  Ｓ（＋１）＝Σ｛｜Ｇ１（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｇ１（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２３と１００の相関：  Ｓ（＋２）＝Σ｛｜Ｇ２（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｇ２（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２５と１００の相関：  Ｓ（＋３）＝Σ｛｜Ｇ３（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｇ３（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２７と１００の相関：  Ｓ（＋４）＝Σ｛｜Ｇ４（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｇ４（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２２と１００の相関：  Ｓ（−１）＝Σ｛｜Ｈｌ（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｈｌ（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２４と１００の相関：  Ｓ（−２）＝Σ｛｜Ｈ２（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｈ２（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２６と１００の相関：  Ｓ（−３）＝Σ｛｜Ｈ３（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｈ３（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２８と１００の相関：  Ｓ（−４）＝Σ｛｜Ｈ４（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｈ４（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１２９と１００の相関：  Ｓ（＋０．５）＝Σ｛｜Ｇｈ（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｇｈ（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
画像１３０と１００の相関：  Ｓ（−０．５）＝Σ｛｜Ｈｈ（Ｂ［ｍ］）−Ｂ［ｍ］｜＋｜Ｈｈ（Ｃ［ｍ］）−Ｃ［ｍ］｜｝
（この演算のΣは、全てｍ＝−４〜＋４で加算）
【００７０】
相関判定器１８０は、この中から最小のものを決定し、それを、識別番号１８０として出力する。例えば、Ｓ（−２）が最小であるとき、相関判定器１８０は「ＩＤ＝−２」を出力する。
【００７１】
相関判定器１８０の検出方向について、本実施形態では、０、±０．５、±１、±２、±３、±４方向で検出するとしたが、本発明はかかる例に限定されない。例えば、相関判定器１８０が検出する方向を増やしてもよい。例えば上記の検出方向に加えて、±１．５方向等を検出してもよい。これにより、更に細かい精度で検出することができる。また、相関判定器１８０が検出する方向を減らしてもよい。例えば、０、±０．５、±１、±２、±４方向で検出するとしてもよい。即ち、±３方向は±２や±４方向の検出器で力バーできる部分が多いため、±３方向を除いてもよい。これにより、演算量を減らすことができる。
【００７２】
さらに、相関判定器１８０が検出する最大角度を変えてもよい。例えば、０、±０．５、±１、±２、±４、±８方向で検出するとしてもよい。これにより、水平に近い斜め方向の物体に対応することができる。なお、最大角度が±４方向であるとき、相関値は、例えば、補完画素の周囲１８画素（水平９、垂直２）の差分の絶対値の総和で求めるとしたが、検出方向の最大角度を変えた場合、この周囲画素の範囲も変えるとよい。例えば、最大方向が±ｎ方向の場合、周囲（２ｎ＋１）×２画素か、それ以上の範囲にするとよい。これにより、斜め±ｎ方向の細線が検出できるようになる。
【００７３】
また、相関値の演算は、上述した例に限定されず、既知の別の演算方法でも実施できる。例えば、差分の２乗の総和によって算出してもよい。
例えば、Ｓ（−２）＝Σ｛（Ｈ２（Ｂ［ｍ］）−Ｂ［ｍ］）２＋（Ｈ２（Ｃ［ｍ］）−Ｃ［ｍ］）２｝（Σはｍ＝−４〜＋４で加算）
という計算式で相関値を算出してもよい。上述した差分絶対値の総和によって相関値を求める場合は、乗算器が不要なため、少ないハードウェアで実装できる。一方、差分の２乗の総和で相関値を求める場合は、誤差の算出で一般に用いられる方法でもあり、正確な相関値が求められる。
【００７４】
また、差分の絶対値の総和の範囲について、比較する画素を増やしてもよい。上述した例では、補完画素の周囲１８画素（水平９、垂直２）としたが、例えば、図１５（Ｂ）に示すように、周囲３６画素（水平９画素、垂直４画素）としてもよいし、図１５（Ｃ）に示すように、長方形以外の形を有する範囲でもよい。
【００７５】
また、差分の絶対値の総和を求めるときに重み付けすることも可能である。フーリエ変換などの周波数解析を行なう画像に窓関数をかけるのは一般に良く知られた手法である。例えば、補完画素から離れた画素の差分には、重みを付けて小さくしてから総和をとってもよい。これにより、画像の広範囲を見ることができると同時に、注目画素から離れた物体の影響を小さくできる。
【００７６】
次に、本実施形態に係る補完器８１について説明する。
補完器８１は、相関判定器８０から出力された識別番号１８０に従って、相関のある方向に沿って補完値１８１を生成する。
このとき、識別番号１８０で示された相関のある方向が、±０．５方向以外の場合、入力画像の補完画素から見て相関性の高い方向の上下ラインの画素の平均値によって、補完値を生成する。
一方、識別番号１８０で示された相関のある方向が、±０．５方向である場合、入力画像について０．５画素分だけ位置をずらした画像を生成し、相関のある方向の画素の平均値によって、補完値を生成する。この場合、通過帯域の広いフィルタで構成するのが望ましい。これにより、±０．５方向に延びる斜めの物体、特に水平高周波を含む物体（例えば±０．５方向の細線）をより滑らかに補完できる。
【００７７】
補完器８１における補完値Ｔの具体的な算出式は、例えば以下のとおりである。
０方向が検出された場合：Ｔ＝（Ｂ［０］＋Ｃ［０］）／２
＋１方向が検出された場合：Ｔ＝（Ｂ［１］＋Ｃ［−１］）／２
＋２方向が検出された場合：Ｔ＝（Ｂ［２］＋Ｃ［−２］）／２
＋３方向が検出された場合：Ｔ＝（Ｂ［３］＋Ｃ［−３］）／２
＋４方向が検出された場合：Ｔ＝（Ｂ［４］＋Ｃ［−４］）／２
−１方向が検出された場合：Ｔ＝（Ｂ［−１］＋Ｃ［１］）／２
−２方向が検出された場合：Ｔ＝（Ｂ［−２］＋Ｃ［２］）／２
−３方向が検出された場合：Ｔ＝（Ｂ［−３］＋Ｃ［３］）／２
−４方向が検出された場合：Ｔ＝（Ｂ［−４］＋Ｃ［４］）／２
【００７８】
＋０．５方向が検出された場合：Ｔ＝｛７７×（Ｂ［０］＋Ｂ［１］＋Ｃ［−１］＋Ｃ［０］）−１６×（Ｂ［−１］＋Ｂ［２］＋Ｃ［−２］＋Ｃ［１］）＋３×（Ｂ［−２］＋Ｂ［３］＋Ｃ［−３］＋Ｃ［２］）｝／２５６
−０．５方向が検出された場合：Ｔ＝｛７７×（Ｂ［−１］＋Ｂ［０］＋Ｃ［０］＋Ｃ［１］）−１６×（Ｂ［−２］＋Ｂ［１］＋Ｃ［−１］＋Ｃ［２］）＋３×（Ｂ［−３］＋Ｂ［２］＋Ｃ［−２］＋Ｃ［３］）｝／２５６
【００７９】
±０．５方向に用いた０．５画素ずらすための水平フィルタは、本発明は上述した例に限定されず、例えば、平高周波の高い成分に対応するため更にタップ数を増やしてもよいし、演算量を削減するため、２タップで構成してもよい。図１６は水平フィルタの振幅特性を示すグラフであり、実線が６タップの水平フィルタの振幅特性を示し、破線が係数（１／２、１／２）の２タップの水平フィルタの振幅特性を示す。
２タップで水平フィルタを構成した場合の±０．５方向の、補完器８１における補完値Ｔの具体的な算出式は、以下のとおりである。
＋０．５方向が検出された場合：Ｔ＝（Ｂ［０］＋Ｂ［１］＋Ｃ［−１］＋Ｃ［０］）／４
−０．５方向が検出された場合：Ｔ＝（Ｂ［−１］＋Ｂ［０］＋Ｃ［０］＋Ｃ［１］）／４
【００８０】
次に、図１７を参照して、本実施形態に係る斜め方向部分の検出方法の周波数特性について説明する。図１７は、周波数特性を示すグラフである。
入力画像１００と、水平ＬＰＦ１１〜１４及び斜めＬＰＦ２０〜３０でフィルタリングされた画像との差分の特性を説明する。以下では、係数Ｋ＝０．７５とした場合について説明する。
【００８１】
図１７に示す３次元グラフの軸は、右上方向の軸が水平周波数（Ｆｈ＝−ｆｓ／２〜＋ｆｓ／２）を表わし、左上方向の軸が垂直周波数（Ｆｖ＝−ｆｓ／２〜＋ｆｓ／２）を表わし、縦軸が振幅特性を表わす。ここで、振幅特性の最大値はゲイン１であって通過領域であり、振幅特性の最小値（グラフの底面の四角形）はゲイン０であって阻止領域である。
【００８２】
図１７は、−２方向を例にして図示している。図１７（Ａ）は、±２方向の水平ＬＰＦ１２の周波数特性である。図１７（Ｂ）は、−２方向の斜めＬＰＦ２４の周波数特性である。図１７（Ｃ）は、図１７（Ａ），（Ｂ）で示した２つのフィルタを縦続接続してできる２次元フィルタの周波数特性である。その結果、斜めＬＰＦ２４からは画像１２４が出力される。図１７（Ｄ）は、２つのフィルタを縦続接続してできる２次元フィルタからの画像１２４と、入力画像１００との差分の周波数特性である。
【００８３】
図１７（Ｄ）を説明のため、２次元で簡単に表わすと図１７（Ｅ）のようになる。図１７（Ｅ）は、横軸が水平周波数（Ｆｈ＝−ｆｓ／２〜＋ｆｓ／２）を表わし、横軸が垂直周波数（Ｆｖ＝−ｆｓ／２〜＋ｆｓ／２）を表わす。また、周波数領域において、振幅が１／２になる所を境に色分けしている。図面上、色の付いた部分が阻止領域であり、白い部分が通過領域を表わす。本実施形態では、入力画像１００と出力画像１２０〜１３０の差分が小さいほど相関が大きいと判断する。従って、２つのフィルタによって、入力画像１００に通過領域（白い部分）の成分が少ないことを検出すると、その斜め方向について相関が大きいといえる。
【００８４】
次に、従来の斜め方向検出方法と、本実施形態の斜め方向検出方法との周波数特性の比較をする。
【００８５】
本実施形態では、斜め方向部分の検出において、検出される不要な成分が従来の検出方法よりも少ないため、誤検出を低減することができる。本実施形態の図１７（Ｅ）の周波数特性を有するフィルタは、図６（Ｂ）の周波数特性を有するフィルタと比較して、通過領域（白い部分）が広い。反対に、阻止領域（色の付いた部分）が狭いため、誤検出を低減することができる。また、本実施形態の周波数特性は水平方向の範囲が狭いが、例えば、図７（Ｂ）に示すような−２方向の物体の特性があるときでも、本実施形態の図１７（Ｅ）の周波数特性を有するフィルタによれば、物体を正確に検出できる。
【００８６】
なお、図１７（Ｅ）の周波数特性でも、原点（０，０）を通過しない阻止領域が存在するが、この領域は折り返し領域であり予め除去することができない部分である。但し、入力画像１００の特性が既知であれば、更に水平ＬＰＦの係数Ｋを小さくすることも可能である。これにより、阻止領域（色の付いた部分）を水平方向に狭くして減らすことができ、誤検出を更に低減させることができる。
【００８７】
また、本実施形態と従来の方法では、阻止領域（色の付いた部分）の幅が異なる。これは、図１４を参照して上述したとおり、振幅が１／２になる範囲が異なるためである。本実施形態の周波数特性のほうが、阻止領域の幅が広いため、物体の特性をより正確に検出できる。
【００８８】
次に、図１８を参照して、各斜め方向（−４，−３，−２，−１，−０．５，０，＋０．５，＋１，＋２，＋３，＋４方向）について、従来の検出器と本実施形態の検出器の周波数特性の比較をする。図１８は、各斜め方向について、ｎ方向に延びる図形の周波数特性（上段）、従来のｎ方向の検出器の周波数特性（中段）、本実施形態のｎ方向の検出器の周波数特性（係数Ｋ＝０．７５の場合）を示す説明図である。ｎ方向に延びる図形の周波数特性は、図上の濃い部分（網掛け部分）に図形の成分が多く含まれることを示す。また、従来及び本実施形態のｎ方向の検出器の周波数特性は、濃い部分（網掛け部分）が阻止領域である。
【００８９】
ｎ方向が−方向（ｎ≦０）であるときを図１８Ａに示し、ｎ方向が＋方向（ｎ≧０）であるときを図１８Ｂに示す。図１８に示すように、＋方向と−方向では水平周波数の特性が逆になる。
【００９０】
本実施形態は、従来と比較して、斜め方向の検出方向が増えるほど誤検出を抑えられることがわかる。図１８に示すように、方向の絶対値（例えば、３や４）が大きいほど、斜め方向の検出の際に不要な成分を検出してしまう阻止領域（色の付いた部分）が少ないためである。
【００９１】
次に、図１９を参照して、従来の検出器と本実施形態の検出器について検出特性を比較する。図１９は、各斜め方向の周波数特性を重ね合わせて示す説明図である。図６（Ｃ）は、図６（Ｂ）の周波数特性を簡略化した図であり、実線部分が原点を通過する正しい検出領域であり、破線部分が検出の必要のない不要領域を示す。
【００９２】
図１８の中段に示した従来の検出器の周波数特性を、全方向について重ね合わせると、図１９（Ａ）に示すとおりとなる。また、図１８の下段に示した本実施形態の検出器（係数Ｋ＝０．７５）の周波数特性を、全方向について重ね合わせると、図１９（Ｂ）に示すとおりとなる。更に、係数Ｋ＝１．０の本実施形態の検出器の周波数特性を、全方向について重ね合わせると、図１９（Ｃ）に示すとおりとなる。
【００９３】
図１９を比較すると、従来の検出器の周波数特性は誤検出が生じる部分（破線部分）が全体的に多い。一方、本実施形態の検出器は、誤検出が生じる部分が従来に比べて少ないことが分かる。従って、本実施形態は、誤検出を低減することができ、斜め方向をより正確に検出することができる。また、斜め方向を検出する方向を増やすと、従来の検出器は誤検出の範囲が如実に増えるため、斜め方向を検出する方向を増やすほど、本実施形態の検出器は、従来に比べてより有利になる。
【００９４】
なお、本実施形態の画像処理装置における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００９５】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。図２０は、本実施形態に係る画像処理装置を示すブロック図である。
【００９６】
上述した第１の実施形態は、斜め一方向に相関のある画像のみ対応した。一方、本実施形態は、斜め一方向に相関のある画像以外の画像にも対応できる。本実施形態の画像処理装置は、例えば、水平ＬＰＦ１１〜１４、斜めＬＰＦ２０〜３０、相関判定器８０、補完器８１、８２、混合器８３からなる。
【００９７】
斜め方向の検出を行う水平ＬＰＦ１１〜１４及び斜めＬＰＦ２０〜３０と、補完処理をする補完器８１は、第１の実施形態と同じである。補完器８１は、補完値１８１を混合器８３に出力する。相関判定器８０は、識別番号１８０と共に、その相関がどの程度かを示す相関度１８４を混合器８３に出力する。
【００９８】
補完器８２は、どの斜め方向にも相関が無い場合に使用する補完値を１２８生成する。補完器８２は、補完値１８２を混合器８３に出力する。
【００９９】
混合器８３は、相関度１８４に従い、２つの補完値を混合する。混合器８３は、斜め方向のどれか一方向に相関が強い場合は斜め補完値１８１の割合が高く、斜め方向のどこにも相関が無い場合は、補完器２の補完値１８２の割合が高くなるように出力する。
【０１００】
例えば、斜め一方向以外に相関のある画像について説明する。
実際の自然画は、斜め一方向の画像だけでできている訳ではない。例えば、（１）方向の違う細線が交わっている画像などの複数の方向に相関がある画像や、（２）小物体が多数あるような画像などの斜め方向とは相関のない画像がある。本実施形態では、（１）及び（２）のどちらの画像も、相関判定器８０で相関値が小さい画像が無いことを検出する。
【０１０１】
（１）の画像の場合、正しい補完によって、方向の違う細線が交わっている部分で、細線が分断されることを防ぐことができる。また、（２）の画像の場合、正しい補完によって、物体が多数ある部分で、小物体が誤補完でつながることを防ぐことができる。
【０１０２】
一方、どの方向にも補完可能な画像を検出した方が良い場合もある。例えば、輝度が一様の部分に小さなノイズ成分がある場合である。このようなノイズ成分は、例えば、家庭用ビデオカメラで生じる。従って、相関判定器８０で、どの相関値も小さいことを検出する。補完をしないことで、小さなノイズが斜め補完でノイズが強調されてしまうのを防ぐことができる。
【０１０３】
次に、相関判定器８０が算出する相関度１８４について説明する。相関度１８４は、相関判定器８０で、識別番号１８０が計算されると共に生成される。
【０１０４】
（１）斜め一方向に相関がある画像以外の画像の検出
相関判定器８０は、相関値の最小値（最も相関の強い画像の相関値）を用いて、相関度１８４を生成する。
例えば、入力画像が８ｂｉｔの場合で、相関度Alphaを０≦Alpha≦１２８の範囲とした場合、相関度Alphaは、下記の式で算出する。
Ｓ＿min＝min（Ｓ（０）、Ｓ（＋１）、Ｓ（＋２）、Ｓ（＋３）、Ｓ（＋４）、Ｓ（−１）、Ｓ（−２）、Ｓ（−３）、Ｓ（−４）、Ｓ（＋０．５）、Ｓ（−０．５））
temp＝｛Ｓ＿min−Param１｝×Param２
if（temp≦０）Alpha＝０  else  if（temp≧１２８）Alpha＝１２８  else  Alpha＝temp
例えばParam１＝３２、Param２＝０．２５と設定する。なお、このパラメータは固定値で設計してもよいし、可変にしてもよい。
この相関度の生成によれば、どの方向の検出も相関が弱い場合を、混合器８３に伝えることができる。そして、斜め一方向に相関がある画像以外の画像を検出できる。
【０１０５】
（２）どの方向にも相関が強い画像の検出
相関判定器８０は、相関値の最大値（最も相関の弱い画像の相関値）を用いて、相関度１８４を生成する。
例えば、入力画像が８ｂｉｔの場合で、相関度Alpha'を０≦Alpha'≦１２８の範囲とした場合、相関度Alpha'は、下記の式で算出する。
Ｓ＿max＝max（Ｓ（０）、Ｓ（＋１）、Ｓ（＋２）、Ｓ（＋３）、Ｓ（＋４）、Ｓ（−１）、Ｓ（−２）、Ｓ（−３）、Ｓ（−４）、Ｓ（＋０．５）、Ｓ（−０．５））
temp＝（Param３−Ｓ＿max）×Param４
if（temp≦０）Alpha'＝０  else  if（temp≧１２８）Alpha'＝１２８  else  Alpha'＝temp
例えばParam３＝３２、Param４＝４と設定する。なお、パラメータは固定値で設計してもよいし可変にしてもよい。
この相関度の生成によれば、どの方向の検出も相関が強い場合を、混合器８３に伝えることができる。
【０１０６】
（３）上記（１）、（２）を両方検出できるようにする。このとき、相関度Alpha''は、下記の式で算出する。
temp＝Alpha＋Alpha'
ｉｆ（temp≧１２８）Alpha''＝１２８  else  Alpha''＝temp
【０１０７】
相関度１８４は、用途に応じて、上記（１）〜（３）の何れかを用いて設計してもよいし、パラメータで切り替えられるとしてもよい。例えば、デジタルＴＶの場合、Alpha、家庭用デジタルビデオカメラはAlpha''で設計するとよい。
【０１０８】
次に、補完器８２の演算について説明する。
補完器８２は、どの方向の検出も相関が弱い場合の補完値１８２を生成する。例えば、補完器８２は、上下２画素を参照して補完値１８２を生成してもよい。補完器８２は、下記算出式で算出する。
Ｔ'＝（Ｂ［０］＋Ｃ［０］）／２
この算出式によれば、演算が単純であるため、ハードウェアを小さく構成できる。
【０１０９】
また、注目画素の周囲の画素を参照して補完値１８２を生成してもよい。補完器８２は、下記算出式で算出する。
Ｔ'＝｛１１４×（Ｂ［０］＋Ｃ［０］）＋６×（Ｂ［−１］＋Ｂ［＋１］＋Ｃ［−１］＋Ｃ［＋１］）＋１×（Ｂ［−２］＋Ｂ［＋２］＋Ｃ［−２］＋Ｃ［＋２］）｝／２５６
この算出式によれば、補完画素に発生するエッジを目立たなくすることができる。
【０１１０】
次に、混合器８３の演算について説明する。
混合器８３は、相関判定器８０で生成された相関度Alpha''（相関度１８４）を用いて、補完器８１からの斜め補完の結果Ｔ（補完値１８１）と、補完器８２からの結果Ｔ'（補完値１８２）を混合する。
例えば、０≦Alpha''≦１２８の場合、
Ｔ''＝Alpha''×Ｔ'＋（１２８−Alpha''）×Ｔ
この値Ｔ''が、本実施形態の画像処理装置の出力値となる。
【０１１１】
次に、本発明の第２の実施形態の画像処理装置の全体的な動作について説明する。図２１は、本実施形態の画像処理装置の動作を示すフローチャートである。
まず、入力画像１００として、例えば、輝度が入力される（ステップＳ２０１）。なお、本発明は輝度に限定されない。
そして、比較用の画像が生成される（ステップＳ２０２）。即ち、入力画像１００に、水平ＬＰＦ１１〜１４と斜めＬＰＦ２０〜３０を適用して、一方向の斜め成分を通過させた比較画像１２０〜１３０を生成する。
つぎに、相関判定器８０が、入力画像１００と上記生成した比較画像１２０〜１３０とを、それぞれ、注目（補完）画素位置の周囲の画素で相関値を求める（ステップＳ２０３）。そして、相関判定器８０が、入力画像と最も相関の強い比較画像の識別番号１８０を出力する（ステップＳ２０４）。相関値は、２つの画像の差分絶対値の周囲の和で演算される。補完器８１は、識別番号１８０に従って、斜め方向に沿った補完を行なう（ステップＳ２０５）。
【０１１２】
また、相関判定器８０は、相関がどの程度かを示す相関度１８４を算出し（ステップＳ２０６）、相関度１８４を混合器８３に出力する。一方、補完器８２は、入力画像１００を受けて、例えば、上下方向に沿った補完を行う（ステップＳ２０７）。そして、混合器８３は、補完器８１，８２からの補完値を受けて、相関度１８４に従って２つの補完値を混合する（ステップＳ２０８）。
【０１１３】
（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について説明する。図２２は、本実施形態に係る画像処理装置を示すブロック図である。
【０１１４】
本実施形態の画像処理装置は、例えば、水平ＬＰＦ１１〜１４、斜めＬＰＦ２０〜３０、相関判定器８０、補完器８１からなる。
上述した第１の実施形態では、補完器８１は、入力画像１００から補完値１８１を生成した。本実施形態は、水平ＬＰＦ１１〜１４が出カする画像１１１〜１１４も使用して補完値１８１を生成する。本実施形態は、第１の実施形態と比較して相関判定器８０が識別番号１８０を生成するところまでは同じである。補完器８１のみ第１の実施形態と異なる。
【０１１５】
本実施形態の補完器８１の演算について説明する。
補完器８１は、検出された方向に応じて、水平ＬＰＦ１１〜１４からの出力画像１１１〜１１４を使用して補完値Ｔを算出する。これにより、入力画像における斜め方向の直線に対する補完結果がより滑らかになる。補完器８１に入力される画像１１１〜１１４は、斜め線の補完に不要な高周波成分が除去されているからである。
また、誤補完が生じた場合でも、誤補完による出力結果を目立たなくすることができる。本実施形態では、従来技術に比べて誤検出が少ないが、万一誤検出が生じた場合でも、抑制できる高周波成分が多いので、誤補完で発生するエッジを目立たなくすることができる。
【０１１６】
補完器８１における補完値Ｔの具体的な算出式は、例えば以下のとおりである。
０方向が検出された場合：Ｔ＝（Ｂ［０］＋Ｃ［０］）／２
＋１方向が検出された場合：Ｔ＝（Ｇ１（Ｂ［１］）＋Ｇ１（Ｃ［−１］））／２
＋２方向が検出された場合：Ｔ＝（Ｇ２（Ｂ［２］）＋Ｇ２（Ｃ［−２］））／２
＋３方向が検出された場合：Ｔ＝（Ｇ３（Ｂ［３］）＋Ｇ３（Ｃ［−３］））／２
＋４方向が検出された場合：Ｔ＝（Ｇ４（Ｂ［４］）＋Ｇ４（Ｃ［−４］））／２
−１方向が検出された場合：Ｔ＝（Ｈ１（Ｂ［−１］）＋Ｈ１（Ｃ［１］））／２
−２方向が検出された場合：Ｔ＝（Ｈ２（Ｂ［−２］）＋Ｈ２（Ｃ［２］））／２
−３方向が検出された場合：Ｔ＝（Ｈ３（Ｂ［−３］）＋Ｈ３（Ｃ［３］））／２
−４方向が検出された場合：Ｔ＝（Ｈ４（Ｂ［−４］）＋Ｈ４（Ｃ［４］））／２
【０１１７】
＋０．５方向が検出された場合：Ｔ＝｛７７×（Ｂ［０］＋Ｂ［１］＋Ｃ［−１］＋Ｃ［０］）−１６×（Ｂ［−１］＋Ｂ［２］＋Ｃ［−２］＋Ｃ［１］）＋３×（Ｂ［−２］＋Ｂ［３］＋Ｃ［−３］＋Ｃ［２］）｝／２５６
−０．５方向が検出された場合：Ｔ＝｛７７×（Ｂ［−１］＋Ｂ［０］＋Ｃ［０］＋Ｃ［１］）−１６×（Ｂ［−２］＋Ｂ［１］＋Ｃ［−１］＋Ｃ［２］）＋３×（Ｂ［−３］＋Ｂ［２］＋Ｃ［−２］＋Ｃ［３］）｝／２５６
【０１１８】
次に、図２３を参照して、各斜め方向（−４，−３，−２，−１，−０．５，０，＋０．５，＋１，＋２，＋３，＋４方向）について、本発明の第３の実施形態の補完器８１と、第１の実施形態の補完器８１の補完処理の周波数特性について説明する。
【０１１９】
図２３は、各斜め方向について、ｎ方向に延びる図形の周波数特性（上段）、第１の実施形態のｎ方向の補完器８１の周波数特性（中段）、第３の実施形態のｎ方向の補完器８１の周波数特性（係数Ｋ＝０．７５の場合）を示す説明図である。
ｎ方向に延びる図形の周波数特性は、図上の濃い部分（網掛け部分）に図形の成分が多く含まれることを示す。また、第１の実施形態及び第３の実施形態のｎ方向の補完器の周波数特性は、濃い部分（網掛け部分）が通過領域である。なお、図１８は、検出器の周波数特性であり、図２３と反対に濃い部分が阻止領域であり、反対である点に留意が必要である。
【０１２０】
ｎ方向が−方向（ｎ≦０）であるときを図２３Ａに示し、ｎ方向が＋方向（ｎ≧０）であるときを図２３Ｂに示す。図２３に示すように、＋方向と−方向では水平周波数の特性が逆になる。また、±０．５方向は、位相を０．５ずらすフィルタの影響で、高周波成分が除去されている。
【０１２１】
第３の実施形態の補完器８１によれば、第１の実施形態の補完器８１と比べて、必要な周波数成分だけを補完していることが確認できる。従って、入力画像における斜め方向の直線に対する補完結果をより滑らかにすることができる。
【０１２２】
（上記実施形態が適用されるテレビジョン受像機２０１）
次に、上述した第１〜第３の実施形態の画像処理装置が適用されるテレビジョン受像機について説明する。図２４は、上記実施形態としての斜め補完装置（画像処理装置）が適用されるテレビジョン受像機２０１の構成を示すブロック図である。
【０１２３】
図２４に示すテレビジョン受像機２０１において、アンテナ２１０により受信された放送波は、チューナ２１１に入力される。チューナ２１１は、入力された受信波についてキャリア復調などを行ったうえで、例えば制御部２１９の制御に応じて、指定のチャンネルの映像信号を抽出取得し、デコーダ２１２に出力する。デコーダ２１２は、例えば入力された映像信号にスクランブルなどが施されている場合、そのスクランブルを解くための復調処理を施す。本実施形態では、デコーダ２１２からデジタルによる映像信号が出力され、後段の映像信号処理部２１６がデジタル信号処理により映像信号処理を実行する。
【０１２４】
また、テレビジョン受像機２０１は、ビデオ入力端子２１３を備えることで、外部映像機器などから出力される映像信号が入力可能である。ビデオ入力端子２１３に入カされた所定形式の映像信号は、アナログデコーダ２１４に入力される。アナログデコーダ２１４は、入力された映像信号がアナログの所定形式の信号である場合、所定形式のデジタル映像信号に変換する。
【０１２５】
デコーダ２１２から出力されるデジタル映像信号は、スイッチ２１５の端子Ｔ２に対して出力され、アナログデコーダ２１４から出力されるデジタル映像信号は、スイッチ２１５の端子Ｔ３に対して出力される。スイッチ２１５は入力映像ソース選択のために備えられ、制御部２１９の制御に応じて、端子Ｔ２、Ｔ３の何れか一方の端子と、端子Ｔ１とが接続されるように切り換えられる。
【０１２６】
端子Ｔ１に対して端子Ｔ２が接続された状態では、デコーダ２１２から出力されたデジタル映像信号が映像信号処理部２１６に入力される。つまり、受信選局した放送番組が入力映像ソースとして選択される。また、端子Ｔ１に対して端子Ｔ３が接続された状態では、アナログデコーダ２１４から出力されたデジタル映像信号が映像信号処理部２１６に入力される。つまり、外部機器から入力された映像信号が入力映像ソースとして選択される。
【０１２７】
映像信号処理部２１６は、図２５に示すような構成を有しており、映像信号処理部２１６のＬＳＩ２２０は、例えば、走査線補完部２２２、スイッチ２２３、解像度変換部２２４及び補正処理部２２５からなる。図２５は、テレビジョン受像機２０１の映像信号処理部２１６を示すブロック図である。
【０１２８】
映像信号処理部２１６は、入力されたデジタル映像信号について、走査線補完、画素数を液晶表示部１８の表示パネルの画素数に変換する解像度変換、輝度補正、色補正、ガンマ補正など各種所要の信号処理を実行する。映像信号処理部２１６は、例えば画像処理ＬＳＩ２２０と外部メモリ２２６で構成される。上記の各処理はハードウェアで実装され、外部からの制御信号に応じてパラメータが設定される。各処理部分は、バス２２１を介して必要に応じて外部メモリ２２６に読み書き可能である。
【０１２９】
映像信号処理部２１６には、走査線補完部２２２を迂回する経路があり、外部からの制御信号により切り替えが行なわれる。入カ信号がインターレース信号の場合、走査線補完を行なう経路が選択され、入カ信号がプログレッシブ信号の場合は迂回する経路が選択される。
【０１３０】
走査線補完部２２２は、例えば、上述した実施形態の斜め補完処理の演算を行なうようにハードウェアで実装される。例えば、水平ＬＰＦは、入力ソースの特性に応じて切り替えられるよう、Ｋ＝１．０とＫ＝０．７５で設計されたフィルタが切り替えられる。この切り替えは外部からの制御信号で設定できる。また、相関度を決めるパラメータも、外部からの制御信号で設定可能である。
【０１３１】
映像信号処理部２１６から出力された映像信号は、表示ドライバ２１７に出力される。表示ドライバ２１７は、入力された映像信号を利用して液晶表示部２１８を表示駆動する。これによって、液晶表示部２１８の表示画面には、映像信号に応じた画像が表示される。液晶表示部２１８は、表示デバイスとして例えば液晶を備える。なお、テレビジョン受像機２０１は、受信放送番組又は外部入力ソースの映像信号と共に音声信号も再生出力可能であるが、ここでは、音声再生系についての図示及びその説明は省略する。
【０１３２】
制御部２１９は、例えばＣＰＵ（Central  Processing  Unit）、ＲＯＭ、ＲＡＭなどが組み合わされて構成されるマイクロコンピュータなどを有する。制御部２１９は、テレビジョン受像機２０１における上記各部位などを制御する。例えば、制御部２１９は、スクランブルがかけられて放送されてきた映像信号がデコーダ２１２に入力される場合、このスクランブルを解除するための信号処理について制御する。
【０１３３】
また、制御部２１９は、入力映像信号について、標準解像度（ＳＤ：Standard  Definition）とハイビジョンなどの高画質解像度（ＨＤ：High  Definition）といった方式の違いに適合した信号処理について制御する。また、制御部２１９は、上述したとおり、例えば映像ソース選択の操作などに応じて、放送のソースを表示させるときと、ビデオ入力端子１３からの入力ソースを表示させるときとで、スイッチ２１５の切り換えを制御する。また、アナログデコーダ２１４に対しては、ビデオ入力端子２１３から入力される信号のＨＤ／ＳＤなどの方式に応じて、適正なデジタル信号変換処理が実行されるように制御する。
【０１３４】
また、制御部２１９は、映像信号処理部２１６に対しては、上記走査線補完、解像度変換、各種補正処理など、所要の信号処理動作について制御する。走査線補完については、インターレース／プログレッシブ方式や、ＨＤ／ＳＤなどの方式に応じて、走査線補完のＯＮ／ＯＦＦやフィルタの特性が適正になるよう制御する。
【０１３５】
従来の斜め方向検出補完処理の問題としては、水平に近い斜め線のジャギー、繰り返しのある画像の誤補完、細線の分断などがあった。一方、上記第１の実施形態〜第３の実施形態によれば、従来の斜め方向検出補完処理よりも検出精度が高い。そのため、本実施形態が適用されたテレビジョン受像機２０１は、動きベクトル補完のような膨大な演算量を必要とせず、従来の斜め補完の問題の発生を抑えたテレビジョン受像機を提供することができる。
【０１３６】
なお、走査線補完は、斜め補完のみで実施した場合を示したが、公知の補完方法と組み合わせて実施することも可能である。例えば、斜め補完とフィールド間補完とを組み合わせてもよい。フィールド間補完の補完値は、前後のフィールドで注目画素の位置にある画素の平均値で算出する。例えば、注目画素が動画か静止画かを判定する判定器を設け、動画の場合は斜め補完を、静止画の場合はフィールド間補完が優先するよう、補完値を混合する。この場合、３フィールドの画像を同時に扱うため、少なくとも２フィールドの画像を保存するメモリが必要になる。このように、斜め補完とフィールド間補完とを組み合わせることで、静止している映像のちらつきを抑えることができる。
【０１３７】
また、斜め補完とベクトル補完とを組み合わせることも可能である。適正な動きベクトルが算出された場合は動きベクトル補完を優先するが、適正な動きベクトルが算出されなかった場合は斜め補完を優先するよう、補完値を混合する。この場合、適正な動きベクトルが算出できなかった場合でも、斜め補完の効果によりジャギーを抑えることができる。
【０１３８】
（上記実施形態が適用されるデジタルビデオカメラ）
次に、上述した第１〜第３の実施形態の画像処理装置が適用されるデジタルビデオカメラについて説明する。図２６は、上記実施形態としての斜め補完装置（画像処理装置）が適用されるデジタルビデオカメラの構成を示すブロック図である。
【０１３９】
図２６に示すデジタルビデオカメラは、力メラ部３１０と、ＯＳＤ（Ｏn  Screen  Display）部３２０、ベースバンド処理部３３０、圧縮／伸張処理部３４０、ＤＶ（Digital  video）処理部３５０、テープデッキ部３６０、デジタルインターフェース（以下、デジタルＩ／Ｆと略称する。）３７０と、デジタル入出力端子３７１を備えたものである。
【０１４０】
また、この実施の形態のデジタルビデオカメラは、映像の出力端部として、ＬＣＤ３８２、ＥＶＦ（Electro  View  Finder）３８３を備えると共に、これらの各出カ端部および入カ端部に対応するインターフェース（図２６においては、単にＩ／Ｆと記載。）３８２ｉ、３８３ｉを備える。また、各部を制御する制御部１００を備える。
【０１４１】
制御部４００は、図２６に示したように、ＣＰＵ（Central  Processing  Unit）４０１、ＲＯＭ（Read  Only  Memory）４０２、ＲＡＭ（Random  Access  Memory）４０３がＣＰＵバスを通じて接続されて構成されたマイクロコンピュータである。Ｒ０Ｍ４０２は、フラッシュＲＯＭ又はＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  ROM）であり、ＣＰＵ４０１において実行される各種プログラムや処理に必要なデータなどが記録されている。また、Ｒ０Ｍ４０２は、ユーザーによって設定されるパラメータなどの設定情報も受け付けて、これを記憶保持する。なお、以下において、Ｒ０Ｍ４０２は、フラッシュＲＯＭであるものとして説明する。また、ＲＡＭ４０３は、処理の途中結果を一時記憶するなど主に作業領域として用いられる。
【０１４２】
制御部４００は、種々の操作キー、操作ダイヤルなどが設けられた操作部４１０が接続され、この操作部４１０を通じてユーザーからの操作入力を受け付ける。これによって、制御部４００は、操作部１１０を通じて受け付けたユーザーからの指示入力（操作入力）に応じて各部を制御する。制御部４００は、リムーバブル記憶デバイス部４２０が接続され、リムーバブル記憶デバイスのデータを読み出したり、データを書き込んだりすることが可能である。
【０１４３】
また、本実施形態が適用されるデジタルビデオカメラの力メラ部３１０は、レンズ、フオー力ス機構、シャッター機構、絞り（アイリス）機構などを備えた光学ブロック３１１と、ＣＣＤ（Charge  Coupled  Device）３１２と、前処理回路３１３とからなる。なお、デジタルビデオカメラは、映像信号と共に音声信号も入力され処理されるが、ここでは全ての音声系についての図示及びその説明は省略する。
【０１４４】
操作部４１０を通じて撮影を行うための指示入力が受け付けられると、制御部４００は、デジタルビデオカメラの各部を制御し、撮影動作を開始する。この場合、光学ブロック３１１は、制御部１００からの制御に応じて、フオー力ス機構、シャッター機構、絞り機構が制御され、被写体の映像を取り込んで、これをＣＣＤ３１２に対して提供する。
【０１４５】
ＣＣＤ１２は、光学ブロック３１１からの映像を光電変換して出力するものであり、光学ブロック３１１からの被写体の映像を取り込むとともに、取り込んだ被写体の映像（画像情報）を電気信号として前処理回路３１３に供給する。前処理回路３１３は、供給された映像信号に対して、ＣＤＳ（Correlated  Double  Sampling）処理を行って、Ｓ／Ｎ比を良好に保つようにする。また、前処理回路３１３は、ＡＧＣ（Automatic  Gain  Control）処理を行って利得を制御し、Ａ／Ｄ（Analog／Digital）変換を行ってデジタル信号とした映像データを形成する。前処理回路３１３は、映像データをベースバンド処理部３３０に供給する。
【０１４６】
ベースバンド処理部３３０は、具体的には、例えば図２７に示すように、ＬＳＩ５２０と外部メモリ５２８で構成される。図２７は、デジタルビデオカメラのベースバンド処理部３３０を示すブロック図である。
【０１４７】
ベースバンド処理部３３０のＬＳＩ５２０は、例えば、補正処理部５２２、水平縮小部５２３、走査線補完部５２４、垂直縮小部５２５、ＪＰＥＧ処理部５２６、ＯＳＤ合成部５２７からなる。ＬＳＩ５２０に搭載された各処理部は、ハードウェアで構成され、バス５２１を介して外部メモリ５２８と接続される。また、制御部１００からの制御信号により、各処理部のパラメータを変更することができる。
【０１４８】
ベースバンド処理部３３０に入力された映像データは、欠陥画素の補正やホワイトバランス補正、ガンマ補正、色補正などの各種補正処理がなされる。また、映像データは、画素数が１９２０×５４０ドットのインターレース方式のＨＤ信号に整形され、一旦外部メモリ５２８に書き込まれる。次に、外部メモリ５２８からＨＤ信号が読み出され、圧縮／伸張処理部３４０へ出力される。
【０１４９】
また、圧縮／伸張処理部３４０への出力と同時に、ＬＣＤ３８２、ＥＶＦ３８３が表示可能なサイズ、例えば画素数が６４０×３６０ドットにフォーマット変換され、生成された映像が外部メモリ５２８に書き込まれる。この映像はＯＳＤ合成部５２７へ読み出される。ＯＳＤ合成部５２７は、制御部１００からの制御に応じて、ＯＳＤ部３２０からの撮影補助マーカーなど、グラフィックスデータや文字データの供給を受けて合成を行って映像データを形成し、ＬＣＤ３８２、ＥＶＦ３８３へ出力する。
【０１５０】
上記フォーマット変換は、インターレースの映像をそのまま縮小するとジャギーが発生してしまうので、水平縮小、本発明の第１〜第３の実施形態の走査線補完、垂直縮小が行なわれる。まず、１９２０×５４０ドットのインターレース方式の映像を、走査線に水平な方向に１／３に縮小し、６４０×５４０ドットのインターレース方式の映像に変換する。次に、走査線補完を行い、６４０×１０８０ドットのプログレッシブ方式の映像に補完処理する。最後に走査線に垂直な方向に１／３縮小を行って、６４０×３６０ドットのプログレッシブ映像を生成する。
【０１５１】
このように走査線補完の前に水平１／３縮小を行なうことで、そのまま走査線補完を行なうのに比べて、走査線補完の演算量を１／３に削減できる。また、走査線補完の前に水平１／３縮小を行なうと、斜め補完では３倍の方向の物体に対応できる。このため、本実施形態で用いる走査線補完は、上記実施形態のうち、０、±０．５、±１、±２の７方向のみ検出と補完を行なうとしてもよい。また、入力画像は、主にこのデジタルビデオカメラで生成された映像なので、高周波成分の周波数分布が既知であり、本実施形態の水平ＬＰＦの係数ＫはＫ＝０．７５に固定して実装することができる。
【０１５２】
ベースバンド処理部３３０において処理されたＨＤ信号は、圧縮／伸張処理部３４０に供給され、例えば、ＭＰＥＧ（Moving  Picture  Experts  Group）方式でデータ圧縮（エンコード）される。
【０１５３】
圧縮／伸張処理部３４０において形成されたＭＰＥＧ信号は、テープデッキ部３６０に供給され、これに装填されているＤＶ（Digital  Video）テープに記録（録画）される。また、ＭＰＥＧ信号は、デジタルＩ／Ｆ３７０、デジタル入出力端子３７１を通じて出力可能である。
【０１５４】
また、ＬＣＤ３８２、ＥＶＦ３８３は、例えば、画素数が６４０×３６０ドットのプログレッシブ映像に対応している。また、各出力端部３８２、３８３に対応して設けられたＩ／Ｆ３８２ｉ、３８３ｉは、ベースバンド処理部３３０からの映像データを、対応する各映像出力端部３８２、３８３に供給するアナログ映像信号に変換する。
【０１５５】
また、デジタルビデオカメラは、デジタル入出力端子３７１、デジタルＩ／Ｆ３７０を介して、ＭＰＥＧ信号（ＭＰＥＧ方式でデータ圧縮された映像データと音声データの多重化信号）の供給を受ける。また、テープデッキ部３６０に装填されたＤＶテープからＭＰＥＧ信号を読み出す。そして、これらのＭＰＥＧ信号は、圧縮／伸張処理部３４０に供給され、データ伸張処理が施されて映像データが復元され、復元された映像データがベースバンド処理部３３０に供給される。
【０１５６】
ベースバンド処理部３３０は、圧縮／伸張処理部３４０からの映像データを受け、一旦外部メモリ５２８に書き込み、読み出しを行い、上述した水平縮小、走査線補完、垂直縮小からなるフォーマット変換を行い、メモリに書き込む。次に、ベースバンド処理部３３０は、この映像データを外部メモリ５２８から読み出し、ＯＳＤ部３２０からのグラフィックスを合成した映像を生成して、ＬＣＤ３８２、ＥＶＦ３８３に供給する。
【０１５７】
このように、本実施形態を適用したデジタルビデオカメラは、ＤＶテープに記録したＭＰＥＧデータを、ＬＣＤ３８２やＥＶＦ３８３に表示したり、表示中の映像データを静止画に変換して、リムーバブル記憶デバイス４２０に保存したりすることができる。操作部４１０を介して表示中の映像データを静止画に保存する指示入カが受け付けると、制御部４０Ｏは、ＯＳＤ３２０やベースバンド処理部３３０を制御する。
【０１５８】
ベースバンド処理部３３０は、静止画保存中であることを表すグラフィックスを混合してＬＣＤ８２やＥＶＦ８３に表示する。次に、制御部１００の指示により、ベースバンド処理部３０では走査線補完が行なわれる（水平縮小、垂直縮小処理は必要ないので行なわれない）。ＪＰＥＧ処理部５２６は、例えばＪＰＥＧ方式の画像に圧縮処理し、ＯＳＤ部３２０を介してＲＡＭ４０３に静止画が転送される。最後に、ＣＰＵ４０１の制御により、ＲＡＭ１０３に転送された静止画が、リムーバブル記憶デバイス１２０に記録される。
【０１５９】
このように、本実施形態を適用したデジタルビデオカメラは、力メラ部３１０を通じて撮影した映像信号をデジタル信号にして、ＬＣＤ３８２やＥＶＦ３８３に表示したり、ＤＶテープに記録したりする。また、デジタルビデオカメラは、ＤＶテープに記録した映像信号をＬＣＤ３２やＥＶＦ８３に表示したり、リムーバル記憶デバイス１２０に静止画を記録したりする。
【０１６０】
特に、本実施形態によれば、走査線補完部５２４を備えているので、ＬＣＤ３８２やＥＶＦ３８３の表示や、リムーバル記憶デバイス４２０に記録した静止画において、ジャギーが発生するのを抑えることができる。また、従来の斜め補完の装置を備えた場合に比べ、斜め補完の問題（例えば、水平に近い斜め線のジャギー、繰り返しのある画像の誤補完、細線の分断など）の発生を抑えたデジタルビデオカメラを提供することができる。
【０１６１】
なお、本実施形態を適用したデジタルビデオカメラも上述したテレビジョン受像機２０１と同様に、走査線補完部５２４は斜め補完だけでなく、公知の走査線補完と組み合わせて実現することも可能である。
【０１６２】
走査線補完がリムーバブル記憶デバイス４２０への静止画を生成する場合にのみ用いられる場合は、リアルタイムで生成する必要がないので、走査線補完を、ＤＳＰなどのプロセッサ上で動作するソフトウェアで実装してもよい。
【０１６３】
本実施形態の画像処理装置（斜め方向検出補完装置）によれば、誤った方向を検出することが少ないので、検出方向を増やすことができる。そして、水平に近い斜め部分についても正しく検出できるため、的確に補完することができ、出力画像にジャギーが発生しない。また、線などの繰り返しのある画像でも、誤った方向の検出が減少し、正確な補完ができる。例えば、すのこ、すだれ、平行な電線、字幕スクロールのような繰り返しのある画像で、映像のちらつきが発生しにくくなる。
【０１６４】
更に、細線のある画像でも、誤った方向の検出が減少し、正確な補完できる。例えば、電線のような細線のある画像で、細線が分断されずに、映像がちらつきにくい。また、誤検出の発生が減少するので、本実施形態の画像処理装置を適用したテレビジョン受像機、デジタルビデオカメラ等において、従来技術を用いた場合に実装する必要のあった誤検出を補正するシステムを削減できる。
【０１６５】
図５（Ａ）のように＋０．５方向に斜め線の繰り返しのある画像の検出について、図５（Ａ）の例では、注目画素に対して０方向、＋０．５方向に相関がある。そのため、０方向、＋０．５方向に高周波成分は少ない。その結果、本実施形態の０方向、＋０．５方向の斜めＬＰＦで除去される成分は少ない。よって、斜めＬＰＦで処理する前の入力画像と、斜めＬＰＦで処理した後の出力画像とは、相関が強い。一方、図５（Ａ）の例では、注目画素に対して水平方向には高周波成分が存在する。そのため、入力画像に水平ＬＰＦをかけると高周波が除去される。
【０１６６】
そこで、本実施形態のように、図５（Ａ）の入力画像に０方向や＋０．５方向の斜めＬＰＦをかけても、入力画像には０方向や＋０．５方向に除去される高周波成分が少ない。そのため、検出器からは入力画像とほぼ同じ画像が出力される。従って、相関ありと判断される。一方、図５（Ａ）の入力画像に−３方向の水平ＬＰＦ及び斜めＬＰＦをかけると、水平ＬＰＦの影響で画像が変化する。そのため、検出器からは入力画像と異なる画像が出力される。従って、相関なしと判断される。これに対して、従来方法の−３方向の検出器で発生していたような誤検出は発生せず、正確な検出が可能である。
【０１６７】
図４（Ａ）のように水平に近い細線のある画像の検出について、図４（Ａ）の例では、注目画素に対して−３方向に相関がある。そのため、−３方向に高周波成分が少なく、水平方向にも高周波成分が少ない。その結果、本実施形態の−３方向の斜めＬＰＦで除去される成分は少ない。よって、斜めＬＰＦで処理する前の入力画像と、斜めＬＰＦで処理した後の出力画像とは、相関が強い。
【０１６８】
そこで、本実施形態のように、図４（Ａ）の入力画像に−３方向の水平ＬＰＦ及び斜めＬＰＦをかけても、入力画像には−３方向に除去される高周波成分が少ない。そのため、検出器からは入力画像とほぼ同じ画像が出力される。従って、相関ありと判断される。従って、正しい方向が検出できるため、細線の分断は発生しない。
【０１６９】
従来方法と比べて正しい方向を検出できるので、従来方法と比べて検出方向を増やすことができる。その結果、注目画素からより水平に近い細線の検出も可能となる。そのため、従来技術で示したような誤検出の補正処理（例えば、メディアンフィルタ、連続検査、上下補完の差し替え）は不要になる。
【０１７０】
更に、周波数特性によって、本実施形態の効果を説明する。
＋０．２５方向に斜め線の繰り返しのある画像の検出について、周波数特性で説明する。図２８の上段には＋０．２５方向に斜め線の繰り返しのある画像の周波数特性を示す。従来方法では、＋０．２５方向に繰り返しがあるにもかかわらず−３方向と誤った検出をしていた。
【０１７１】
即ち、＋０．２５方向に繰り返し画像が入力されると、＋０方向や＋０．５方向でも検出されるが、従来方法では、図２８の下段左に示す周波数特性を有するフィルタの阻止領域が一致した方向（−３方向）も検出された。一方、本実施形態では、水平ＬＰＦが設けられているため、図２８の下段右に示すように余計な阻止領域（色の付いた部分）が無い。そのため、−３方向を誤って検出することはない。
【０１７２】
なお、−３方向の図形は、図２９の上段に示す周波数特性を有する。そのため、−３方向の図形に対しては、図２９の下段右に示す周波数特性を有する本実施形態の検出器の阻止領域（色の付いた部分）がカバーしているため、本実施形態も従来方法と同様に正しい検出が可能である。図２８及び図２９は、周波数特性を示すグラフである。
【０１７３】
以下に、上述した本発明の第１〜第３の実施形態の効果についてまとめて説明する。
本発明の第１の実施形態によれば、従来に比べて斜め補完の検出精度が向上する。その結果、動きベクトル補完と異なり、膨大な演算量を必要とせずに斜め方向に延びる物体に発生するジャギーを抑えることができる。更に、従来の斜め補完の問題（水平に近い斜め線のジャギー、繰り返しのある画像の誤補完、細線の分断）の発生を低減することができる。
【０１７４】
また、本発明の第２の実施形態によれば、斜め一方向に相関がある画像以外の画像（方向の違う細線の交差、多数の小物体）で、余分なエッジが発生するのを抑えることができる。また、本発明の第３の実施形態によれば、従来に比べて方向検出の誤りは少ないが、万一方向検出を誤った場合に、誤補完を目立たなくすることができる。
【０１７５】
更に、本実施形態の画像処理装置をテレビジョン受像機やデジタルビデオなどに適用することで、テレビジョン受像機やデジタルビデオなどにおいて、斜め方向に延びる物体に発生するジャギーを抑え、更に、従来の斜め補完の問題の発生を抑えることができる。
【０１７６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１７７】
本発明の実施形態では、発明の内容を輝度のみで説明し、色成分は省略したが、本発明はかかる例に限定されない。例えば、色成分を用いてもよく、輝度で検出した斜め方向に沿って色差を補完してもよい。但し、輝度に比べて色成分が劣化しても人間の目には気がつきにくいため、簡易的には、輝度は斜め補完で行なうが、色成分は単に上下補完を行なってもよい。
【０１７８】
また、第３の実施形態の補完器８１が受ける画像は、第３の実施形態に示す検出器から出力された画像を受けるとしたが、本発明はかかる例に限定されない。例えば、図３０に示すように従来の検出器（斜め方向判定器７１）と組み合わせても、補完器８１は同様の効果を奏することができる。図３０は、本発明の第３の実施形態に係る画像処理装置の変更例を示すブロック図である。
【図面の簡単な説明】
【０１７９】
【図１】インターレース方式の画素の配列を示す説明図である。
【図２】従来の斜め方向検出装置を示すブロック図である。
【図３】画素配列と、従来の相関値計算の範囲を示す説明図である。
【図４】画素配列を示し、−３方向の細線を示す模式図（Ａ）及び補完画像を示す説明図（Ｂ），（Ｃ）である。
【図５】画素配列を示し、繰り返し画像を示す模式図（Ａ）及び補完画像を示す説明図（Ｂ），（Ｃ）である。
【図６】−２方向に沿った２画素の差分の周波数特性を示すグラフである。
【図７】−２方向の物体の画像を示す説明図（Ａ）及び−２方向の物体の周波数特性を示すグラフ（Ｂ）である。
【図８】繰り返し画像の周波数特性を示すグラフ及び０方向及び−３方向に沿った２つの画素の差分の周波数特性を示すグラフである。
【図９】本発明の第１の実施形態に係る画像処理装置を示すブロック図である。
【図１０】同実施形態に係る画像処理装置を示すブロック図である。
【図１１】同実施形態の画像処理装置の動作を示すフローチャートである。
【図１２】水平ＬＰＦの振幅特性を示すグラフである。
【図１３】画素配列を示す説明図である。
【図１４】従来のフィルタの振幅特性を示すグラフ（Ａ）及び本実施形態のフィルタの振幅特性を示すグラフ（Ｂ）である。
【図１５】画素配列を示しており、相関値を求める際の画素範囲を示す説明図である。
【図１６】水平フィルタの振幅特性を示すグラフである。
【図１７Ａ】周波数特性を示すグラフである。
【図１７Ｂ】周波数特性を示すグラフである。
【図１７Ｃ】周波数特性を示すグラフである。
【図１８Ａ】各斜め方向について、ｎ方向に延びる図形の周波数特性、従来のｎ方向の検出器の周波数特性、本実施形態のｎ方向の検出器の周波数特性を示す説明図である。
【図１８Ｂ】各斜め方向について、ｎ方向に延びる図形の周波数特性、従来のｎ方向の検出器の周波数特性、本実施形態のｎ方向の検出器の周波数特性を示す説明図である。
【図１９】各斜め方向の周波数特性を重ね合わせて示す説明図である。
【図２０】本発明の第２の実施形態に係る画像処理装置を示すブロック図である。
【図２１】同実施形態の画像処理装置の動作を示すフローチャートである。
【図２２】本発明の第３の実施形態に係る画像処理装置を示すブロック図である。
【図２３Ａ】各斜め方向について、ｎ方向に延びる図形の周波数特性、第１の実施形態のｎ方向の補完器の周波数特性、第３の実施形態のｎ方向の補完器の周波数特性を示す説明図である。
【図２３Ｂ】各斜め方向について、ｎ方向に延びる図形の周波数特性、第１の実施形態のｎ方向の補完器の周波数特性、第３の実施形態のｎ方向の補完器の周波数特性を示す説明図である。
【図２４】本発明の第１〜第３の実施形態としての斜め補完装置（画像処理装置）が適用されるテレビジョン受像機の構成を示すブロック図である。
【図２５】テレビジョン受像機の映像信号処理部を示すブロック図である。
【図２６】本発明の第１〜第３の実施形態としての斜め補完装置（画像処理装置）が適用されるデジタルビデオカメラの構成を示すブロック図である。
【図２７】デジタルビデオカメラのベースバンド処理部を示すブロック図である。
【図２８】周波数特性を示すグラフである。
【図２９】周波数特性を示すグラフである。
【図３０】本発明の第３の実施形態に係る画像処理装置の変更例を示すブロック図である。
【符号の説明】
【０１８０】
１１，１２，１３，１４      水平ＬＰＦ
２０，２１，２２，２３，２４，２５，２６，２７，２８，２９，３０      斜めＬＰＦ
６０，６１，６２，６３，６４，６５，６６，６７，６８      斜め方向差分絶対値生成部
７０      判定器
８０      相関判定器
８１，８２      補完器
８３      混合器
９０，９１，９２，９３，９４      ２Ｄフィルタ
【図１】
2009302915.tif 000003
【図２】
2009302915.tif 000004
【図３】
2009302915.tif 000005
【図４】
2009302915.tif 000006
【図５】
2009302915.tif 000007
【図６】
2009302915.tif 000008
【図７】
2009302915.tif 000009
【図８】
2009302915.tif 000010
【図９】
2009302915.tif 000011
【図１０】
2009302915.tif 000012
【図１１】
2009302915.tif 000013
【図１２】
2009302915.tif 000014
【図１３】
2009302915.tif 000015
【図１４】
2009302915.tif 000016
【図１５】
2009302915.tif 000017
【図１６】
2009302915.tif 000018
【図１７Ａ】
2009302915.tif 000019
【図１７Ｂ】
2009302915.tif 000020
【図１７Ｃ】
2009302915.tif 000021
【図１８Ａ】
2009302915.tif 000022
【図１８Ｂ】
2009302915.tif 000023
【図１９】
2009302915.tif 000024
【図２０】
2009302915.tif 000025
【図２１】
2009302915.tif 000026
【図２２】
2009302915.tif 000027
【図２３Ａ】
2009302915.tif 000028
【図２３Ｂ】
2009302915.tif 000029
【図２４】
2009302915.tif 000030
【図２５】
2009302915.tif 000031
【図２６】
2009302915.tif 000032
【図２７】
2009302915.tif 000033
【図２８】
2009302915.tif 000034
【図２９】
2009302915.tif 000035
【図３０】
2009302915.tif 000036