(57)【特許請求の範囲】
【請求項１】
インターレース走査映像信号の入力フィールド画像に対し各画像ライン間の補間を行うことによって順次走査映像信号の画像を生成する画像補間装置において、
入力フィールド画像の対象画素と、該対象画素の直上直下に隣接する画素との輝度差分特性を求めて、ライン方向に共通の差分特性を有する連続画素列である画像ラインパターンを抽出するとともに、該画像ラインパターンの位置と輝度差分特性に関するパターン情報を生成するパターン情報生成手段と、
各ライン間において、前記画像ラインパターンのうち輝度差分特性に関する前記パターン情報が一致するものを取り出し、ライン間の補間に用いる画像ラインパターンを決定する補間パターン決定手段と、
決定した画像ラインパターンを用いて補間画素列を設定して補間を実行する補間実行手段とを具備し、
前記パターン情報生成手段は、
入力フィールド画像の対象画素と該対象画素の直上直下に対向する隣接ラインの画素との輝度値の各差を加えた２回差分値を求める２回差分値演算手段と、
各画像ラインについて、前記２回差分値に基づく輝度差分特性がライン方向に共通である連続する画素列を画像ラインパターンとして認識して抽出するパターン抽出手段と、
抽出された画像ラインパターンの前記パターン情報を収集する情報収集手段とを具備し、
前記補間パターン決定手段は、
前記パターン情報から一致している可能性のある画像ラインパターンを検索する一致パターン検索手段と、
検索された画像ラインパターン同士の前記パターン情報が一致するかを判定するパターン一致判定手段と、
一致すると判定された画像ラインパターンの開始位置と長さから連続的に補間に用いるべき画像ラインパターンであるかを判定するベクトル判定を行うベクトル判定手段とを具備し、
前記補間実行手段は、
前記補間パターン決定手段により決定された画像ラインパターンのパターン情報に基づいて、補間を実行する区間の位置と長さを決定する補間実行区間決定手段と、
決定された前記区間に前記補間パターン決定手段により決定された画像ラインパターンに基づいて、前記補間する画素列を作成する補間画素作成手段とを具備することを特徴とする画像補間装置。
【請求項２】
さらに、前記パターン情報に基づいて、補間に使用可能な画像ラインパターンの存在位置に関する予測情報を生成する補間予測手段を具備し、
該補間パターン予測手段は、
前記パターン情報から補間可能方向／補間不可能方向を予測する補間方向予測手段と、
前記パターン情報が一致する画像ラインパターンが存在する位置までの距離を予測する検索距離予測手段と、
一致する画像ラインパターンと補間しても画像に破たんが生じない距離を予測する補間実行距離予測手段とを具備することを特徴とする請求項１に記載の画像補間装置。
【請求項３】
前記パターン情報生成手段は、さらに、画素毎の縦方向の２回差分値を正規化処理して複数の輝度差分特性を示す種類に分類する正規化手段を具備し、
前記パターン抽出手段は、前記正規化手段により求めた輝度差分特性を示す分類に基づいて画像ラインパターンの抽出を行うことを特徴とする請求項１又は２に記載の画像補間装置。
【請求項４】
前記パターン情報生成手段は、さらに、前記パターン抽出手段が抽出した画像ラインパターンが画像の歪みやノイズの場合に、この画像ラインパターンを取り除くコアリング処理を行うコアリング手段を具備し、
前記コアリング手段は、
前記画像ラインパターン内の輝度波形に複数の極大／極小点やパターン内の輝度波形に鋭角な変化点を有する画像を歪みとし、基準画素数に届かない画素列をノイズとして検出する検出手段と、
前記検出手段の検出データに基づいて、前記画像ラインパターンを削除する編集が必要か否かを判定する編集判定手段と、
編集が必要と判定された画像ラインパターンに対して削除編集を実行する編集実行手段とを具備することを特徴とする請求項１乃至３のいずれかに記載の画像補間装置。
【請求項５】
前記情報収集手段は、
前記画像ラインパターン内の最大輝度値を収集する手段と、
前記画像ラインパターン開始位置からの最大輝度位置までの最大輝度増加量を収集する手段と、
最大輝度位置から前記画像ラインパターン終了位置までの最大輝度減少量を収集する手段とを具備することを特徴とする請求項１乃至４のいずれかに記載の画像補間装置。
【請求項６】
前記情報収集手段は、
前記画像ラインパターン内の最小輝度値を収集する手段と、
前記画像ラインパターン開始位置からの最小輝度位置までの最大輝度減少量を収集する手段と、
最小輝度位置から前記画像ラインパターン終了位置までの最大輝度増加量を収集する手段と具備することを特徴とする請求項１乃至４のいずれかに記載の画像補間装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、走査線数が異なるテレビジョン方式のアップコンバートや、インターレース走査映像信号から順次走査映像信号に変換するにあたり、フィールド画像からフレーム画像を生成する際等のライン補間による画像補間装置に関する。
【０００２】
【従来の技術】
従来、走査線数が異なるテレビジョン方式のアップコンバートや、画像の高細精化のために、インターレース映像からプログレッシブ映像を生成する走査線補間方法として、静止画に対してはフレーム内補間が行われる。しかし、動画においては、フレーム相関が崩れ、フレーム内補間では動きのある縦線がギザギザに誤変換される等の不具合が発生するため、フィールド内補間が行われる。
【０００３】
フィールド内補間の方法としては、簡便な方法として、補間すべきラインとして前ラインをそのまま用いるライン補間方法や、上下のラインの平均値を用いるライン補間方法がある。前者の補間方法では、斜線等のような垂直方向に相関の無い画像では画像の輪郭線にギザギザが生じ、また、後者の補間方法では画像にボケが生じるといった画像の劣化を伴っていた。
【０００４】
これらの欠点を解決する手法として、特開昭６３−１８７７８５号公報に記載の補間方法がある。この補間方法では、補間すべきラインの各画素を、その画素の周辺において最も相関の強い方向の画素情報を用いて補間するものである。まず、補間画素から放射状に延びるどの方向の画素信号が最も相関が強いかを知るために、垂直方向、右斜め方向，左斜め方向の隣接画素の差分絶対値を求める。この差分絶対値が最小となる方向が最も相関が強い方向であると判断して、その方向にある各画素の平均値を求め、それを補間画素の値とする。
【０００５】
しかしながら、この方法では、補間すべきラインの各画素について、即ち、１画素毎について、少なくとも上記のような３方向の差分絶対値を算出し、さらに、それらの差分絶対値の最小を判断して補間画素の値を求めるという処理を必要とする。このため、補間処理速度が遅く、また画像中のエッジ部分以外の領域（画素値が変化しない領域）のように、いずれの方向においても相関の強さに差がない場合でも上記の一連の処理を行うので、無駄な処理時間が費やされており、補間の処理速度が遅く、相関を求める画素の範囲を拡大することも困難であった。
従って、傾斜角度の小さな斜線のように、かなり離れたところで相関をもつ画像の補間を行う場合には、それらの相関の強い画素を使った補間ができないために、補間精度が悪くなり、依然として斜線部のエッジにガタツキが生じることにもなっていた。
【０００６】
特開平５−３０４８７号公報には、上記公報の欠点を改善するために、補間の処理速度を向上させるとともに、処理速度の向上に伴って相関を求める範囲を拡大し、補間の精度を向上させる方法が開示されている。以下に、この公報に開示されている画像の補間方法について図１３乃至図１６と共に説明する。
【０００７】
先ず、この補間方法は、図１３に示すように、２次元画像の隣接するｎラインとｎ＋１ラインの各画素を比較して、それぞれのライン上の２次元画像のエッジ箇所ａ，ｂを検出する。補間すべき補間ラインでは、前記エッジが検出されたａ，ｂ間以外では隣接するいずれかのラインの画素を用いて補間することとし、補間ラインのエッジ部を求める。
【０００８】
次いで、図１３に示すように、エッジ箇所ａ，ｂでは隣接するいずれか一方のライン（ｎライン）上の注目画素（ここではＡとする）を中心とした「画素数」と「補間位置からのシフト量」からなる近傍画素列（３，０）として設定し、これと相関のある対象画素列（３，１）を隣接する他方のライン（ｎ＋１ライン）の中から選出する。
ここで、近傍画素列と対象画素列との相関を取るための一般式としては、近傍画素列＝（２ｍ＋１、０）、対象画素列＝（２ｍ＋１、±Ｙ）を用い、ｍ＝Ｙ＝１，２，３，４，５ぐらいまでを順に可変して行く。
【０００９】
まず、図１４に示すように、近傍画素列（３，０）と対象画素列（３，１）との間で、図中矢印のような画素対で演算を行い、画素レベルの差が所定の基準値内かどうかで相関の判定を行う。図１５に示す場合は、中央画素対に相関がないため、ｍ＝Ｙ＝２とし、それぞれ近傍画素列を（５，０）、対象画素列を（５，２）とし、図中矢印のような画素対で演算を行う。図中矢印のような画素対での演算で相関有りとを判断されると、その時の補間位置からのシフト量が２画素となる。図１６に示すように、ａ部とｂ部が２画素ズレている。求めた画素数の半数だけ、前記選出した画素列または近傍画素列を位置ズレ方向とは逆の方向にシフトした画素列、即ち、Ａから右へ１画素シフトしたｃ点を中心とする画素列を用いて補間する。
【００１０】
【発明が解決しようとする課題】
特開平５−３０４８７号公報に示される補間方法は、一般的に行われている画素単位による補間方法に比べ画素列による補間を取り入れ、処理速度を向上させる発明である。従って、画素列のエッジ部分を決定するために、エッジ部付近において、少なくとも３画素から１１画素程度まで画素シフトを行いながらライン間演算を行うものである。このため、演算時間がかかる点では未だ問題の残る方法である。さらに、この補間方法は、画像の輪郭を滑らかにする方法であり、例えば水平に近い細線画像の場合、インターレース映像信号のフィールド画像であると途切れ部分が生じ、細線画像の画素とその直上直下の画像ラインの画素に相関がないと、画像の輪郭として認識しないため、画素列による補間を行わず、途切れ部分を埋める補間画像を生成できないという問題も有している。
【００１１】
本発明の目的は、処理速度を大幅に削減することができ、途切れのない滑らかなフレーム画像を生成することができる画像補間装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、インターレース走査映像信号の入力フィールド画像に対し各画像ライン間の補間を行うことによって順次走査映像信号の画像を生成する画像補間装置において、
入力フィールド画像の対象画素と、該対象画素の直上直下に隣接する画素との輝度差分特性を求めて、ライン方向に共通の差分特性を有する連続画素列である画像ラインパターンを抽出するとともに、該画像ラインパターンの位置と輝度差分特性に関するパターン情報を生成するパターン情報生成手段と、各ライン間において、前記画像ラインパターンのうち輝度差分特性に関する前記パターン情報が一致するものを取り出し、ライン間の補間に用いる画像ラインパターンを決定する補間パターン決定手段と、決定した画像ラインパターンを用いて補間画素列を設定して補間を実行する補間実行手段とを具備し、
前記パターン情報生成手段は、入力フィールド画像の対象画素と該対象画素の直上直下に対向する隣接ラインの画素との輝度値の各差を加えた２回差分値を求める２回差分値演算手段と、各画像ラインについて、前記２回差分値に基づく輝度差分特性がライン方向に共通である連続する画素列を画像ラインパターンとして認識して抽出するパターン抽出手段と、抽出された画像ラインパターンの前記パターン情報を収集する情報収集手段とを具備し、
前記補間パターン決定手段は、前記パターン情報から一致している可能性のある画像ラインパターンを検索する一致パターン検索手段と、検索された画像ラインパターン同士の前記パターン情報が一致するかを判定するパターン一致判定手段と、一致すると判定された画像ラインパターンの開始位置と長さから連続的に補間に用いるべき画像ラインパターンであるかを判定するベクトル判定を行うベクトル判定手段とを具備し、
前記補間実行手段は、前記補間パターン決定手段により決定された画像ラインパターンのパターン情報に基づいて、補間を実行する区間の位置と長さを決定する補間実行区間決定手段と、決定された前記区間に前記補間パターン決定手段により決定された画像ラインパターンに基づいて、前記補間する画素列を作成する補間画素作成手段とを具備することを特徴とする画像補間装置である。
【００１３】
また、本発明は、さらに、前記パターン情報に基づいて、補間に使用可能な画像ラインパターンの存在位置に関する予測情報を生成する補間パターン予測手段を具備し、
該補間パターン予測手段は、前記パターン情報から補間可能方向／補間不可能方向を予測する補間方向予測手段と、前記パターン情報が一致する画像ラインパターンが存在する位置までの距離を予測する検索距離予測手段と、一致する画像ラインパターンと補間しても画像に破たんが生じない距離を予測する補間実行距離予測手段とを具備することを特徴とする画像補間装置である。
【００１４】
また、本発明は、前記パターン情報生成手段は、さらに、画素毎の縦方向の２回差分値を正規化処理して複数の輝度差分特性を示す種類に分類する正規化手段を具備し、
前記パターン抽出手段は、前記正規化手段により求めた輝度差分特性を示す分類に基づいて画像ラインパターンの抽出を行うことを特徴とする画像補間装置である。
【００１５】
また、本発明は、前記パターン情報生成手段は、さらに、前記パターン出手段が抽出した画像ラインパターンが画像の歪みやノイズの場合に、この画像ラインパターンを取り除くコアリング処理を行うコアリング手段を具備し、
前記コアリング手段は、前記画像ラインパターン内の輝度波形に複数の極大／極小点やパターン内の輝度波形に鋭角な変化点を有する画像を歪みとし、基準画素数に届かない画素列をノイズとして検出する検出手段と、前記検出手段の検出データに基づいて、前記画像ラインパターンを削除する編集が必要か否かを判定する編集判定手段と、編集が必要と判定された画像ラインパターンに対して削除編集を実行する編集実行手段とを具備することを特徴とする画像補間装置である。
【００１６】
また、本発明は、前記情報収集手段は、前記画像ラインパターン内の最大輝度値を収集する手段と、前記画像ラインパターン開始位置からの最大輝度位置までの最大輝度増加量を収集する手段と、最大輝度位置から前記画像ラインパターン終了位置までの最大輝度減少量を収集する手段とを具備することを特徴とする画像補間装置である。
【００１７】
また、本発明は、前記情報収集手段は、前記画像ラインパターン内の最小輝度値を収集する手段と、前記画像ラインパターン開始位置からの最小輝度位置までの最大輝度減少量を収集する手段と、最小輝度位置から前記画像ラインパターン終了位置までの最大輝度増加量を収集する手段と具備することを特徴とする画像補間装置である。
【００２３】
【発明の実施の形態】
以下に、本発明の実施の形態について、図１乃至図１２を参照しながら説明する。
図１は、本発明に係る画像補間装置の一実施形態の構成を示すブロック図である。図２は入力画像の１例として白い背景１に黒い細線映像のインターレース映像信号におけるフィールド画像２が写し出されたモニタ画面を示している。図３は、図２に示す拡大ポイント３の入力映像ラインと補間ラインを示している。同図において、Ａ，Ｃ，Ｅ，Ｇ，Ｉ，Ｋは入力映像ラインであり、Ｂ，Ｄ，Ｆ，Ｈ，Ｊは、補間ラインを示す。
【００２４】
図１に示す画像補間装置は、パターン情報生成部１００、補間パターン予測部１２０、画像データベース１３０、補間パターン決定部１４０、補間実行部１５０を備えた構成である。そして、フィールド画像の隣接３ラインで対向画素間の輝度値２回差分演算（Ａ−２×Ｃ＋Ｅ）とコアリング処理、情報収集処理により画像ラインパターンのデータベースを生成する第１ステップと、画像ラインパターンの情報データから各画像ラインパターンの補間方向、補間距離を予測する第２ステップと、画像ラインパターンのデータベースを基に補間すべき位置を決定する第３ステップと、補間を実行する第４ステップとによる補間を行う。
【００２５】
以下に、図１の画像補間装置の各部について詳述する。
【００２６】
＜パターン情報生成部＞
まず、パターン情報生成部１００における画像ラインパターンの生成について説明する。
パターン情報生成部１００は、縦方向輝度値の２回差分演算部１０１、正規化処理部１０２、パターン抽出部１０３、縦方向相関検出部１０４、情報収集部１０５、コアリング処理部１１０から構成される。更にコアリング処理部１１０は、パターン内画像の歪み・ノイズ検出部１１１、パターン編集判定部１１２、パターン編集実行部１１３から構成される。
【００２７】
パターン情報生成部１００に入力されたフィールド画像は、縦方向輝度値の２回差分演算部１０１に入力される。縦方向輝度値の２回差分演算部１０１は、各画素の縦方向輝度値の２回差分値を演算する。ここで、縦方向輝度値の２回差分値とは、対象画素の輝度値と、対象画素に隣接するライン上にあって縦方向に対象画素に対向する画素の輝度値との両差分値を加えた値である。
例えば、２回差分値を±５１２の範囲とし、図３において、ＡラインＣラインＥライン、ＣラインＥラインＧライン、ＥラインＧラインＩライン、ＧラインＩラインＫラインのそれぞれの入力画像の３ライン間で輝度２回差分値を演算する。すなわち、Ｃライン、Ｅライン、Ｇライン、Ｉラインの画素を対象画素とし、対象画素の直上直下の対向画素との輝度値の２回差分値を求める。ＡラインＣラインＥラインの３画像ラインを例に取れば、縦方向輝度値の２回差分の演算は下記のようなものになる。
【００２８】
Ｃライン上対象画素の縦方向輝度値の２回差分値＝Ａライン対向画素の輝度値−２×Ｃライン対象画素の輝度値＋Ｅライン対向画素の輝度値
【００２９】
縦方向相関検出部１０４では、縦方向輝度値の２回差分演算部１０１で使用される３画像ラインの間に、縦方向に相関性があるかを検出する。例えば、図３に示す上記３画像ラインのそれぞれ画素に対し、まず、輝度値の横方向増減方向や、輝度値の横方向増減量、横方向の輝度値の２回差分値を求める。そして求めた値に基づき、１画素に着目して、隣接する画像ラインの縦方向における画素（直上直下の対向画素）が同じ値（輝度値の横方向増減方向や、輝度値の横方向増減量、横方向の輝度値の２回差分値）を取る場合、縦方向の相関性があると検出する。
【００３０】
次いで、正規化処理部１０２では、設定されている閾値を基に各画像ライン上画素の縦方向の輝度値の２回差分値の正規化処理が行われ、各画像ライン上画素の縦方向輝度値の２回差分値を＋、−、０の３種類に分類する。パターン抽出部１０３では、このうち＋または−の同じ種類が連続している区間であって、縦方向相関検出部１０４により縦方向相関が無いと検出された区間を画像ラインパターンとして抽出する。
抽出された画像ラインパターンとは、対象画素の縦方向の輝度値の２回差分値に基づいて、輝度差分特性（２回差分値における＋、０、−の分類が該当）を求め、共通の輝度差分特性を有するライン方向への連続画素列のことである。
【００３１】
このとき、情報収集部１０５では、パターン抽出部１０３で抽出された画像ラインパターンの位置情報（データ）と画像ラインパターン内の画像の特徴に関する情報（データ）を収集しておく。収集する画像ラインパターン内の画像の特徴に関する情報（データ）としては、例えば、画像ラインパターン内の最大／最小輝度値、画像ラインパターン内の横方向（ライン方向）の輝度値の増減の幅と方向、画像ラインパターン両端の輝度値、画像ラインパターン両端の輝度値の増減量等がある。情報収集部１０５で収集するデータは、縦方向輝度値の２回差分演算部１０１で使用した入力画像ライン３ライン全てについて行うと、補間の精度が向上する。
【００３２】
さらに、抽出された画像ラインパターンは、コアリング処理部１１０の画像ラインパターン内画像のノイズ歪み・ノイズ検出部１１１において、画像ラインパターン内部の画像の歪みやノイズの有無を検出する。画像の歪みとは、例えば、画像ラインパターン内の輝度波形に複数の極大／極小点や、鋭角な変化点がある場合とする。従って、歪みのない画像とは、画像ラインパターン内の輝度波形に１つの極大点や極小点がある画像や、全く極大点や極小点のない画像ということになる。また、ノイズとは、基準画素数に届かない画素列である。
次いで、パターン編集判定部１１２では、上記のような歪みやノイズが検出された場合、抽出された画像ラインパターンを削除する編集をすべきかどうかを編集基準値と比較して判定する。この編集基準値は、各歪みやノイズの程度に応じて総合的に判断できるように設定されている。そして、削除判定された画像ラインパターンは、パターン編集実行部１１３により削除される。
【００３３】
図４は、パターン情報生成部１００において、上記の処理を経て得られた画像ラインパターンを示す図である。同図において、４０〜４３と、６２〜６５は−に分類された画像ラインパターン、５１〜５４は＋に分類された画像ラインパターン、その他は０に分類された画像ラインパターンである。パターン情報生成部１００では、図４に示すように画像ライン毎に切り分けが終わった画像ラインパターンについて、各画像ラインパターン毎に開始位置、長さ、符号も、情報収集部１０５で収集したデータとして作成し、補間パターン予測部１２０に送る。
【００３４】
＜補間パターン予測部＞
補間パターン予測部１２０における補間方向、検索距離、補間実行距離の予測について説明する。
補間パターン予測部１２０は、補間方向予測部１２１、検索距離予測部１２２、補間実行距離予測部１２３から構成される。
補間パターン予測部１２０では、パターン情報生成部１００において生成された画像ラインパターンのデータを使って、補間可能な画像ラインパターンの有無の可能性や、補間可能な画像ラインパターンまでの距離を予測する。
【００３５】
補間パターン予測部１２０の補間方向予測部１２１は、画像ラインパターンの左右両端の情報を比較する。
例えば、図５において、ＣラインＥラインＧラインの３画像ラインから生成されたＥライン上の画像ラインパターン５２の左端の位置、画像ラインＥ−２３，２４の輝度の増減量と、Ｅライン上の画像ラインパターン５２の右端直下のＧライン上の位置、画像ラインＧ−３０，３１の輝度の増減量を比較する。補間方向予測部１２１は、増減が逆方向だったり増減量が大きく異なっている場合、画像ラインパターン５２の右下方向への接続は無効である（以下：補間不可能方向）と予測する。さらに、右上、左上、左下についても同様の方法で、補間可能方向／補間不可能方向を予測する。
【００３６】
つぎに、補間パターン予測部１２０の検索距離予測部１２２は、入力された画像ラインパターンの左右両端の輝度値を比較し、一致する画像ラインパターンが存在するであろう位置までの距離を予測する。
すでに、輝度値の横方向増減方向や、輝度値の横方向増減量、横方向の輝度値の２回差分値を求めているので、これに基づいて距離を求める。例えば、図５において、ＣラインＥラインＧラインの３画像ラインから生成されたＥライン上の画像ラインパターン５２の左端の位置にある画像ラインＥ−２４の輝度値と、Ｅライン上の画像ラインパターン５２の右端直下のＧライン上の位置にある画像ラインＧ−３０の輝度値との差分を、Ｅライン上の画像ラインパターン５２の右端直下のＧライン上の位置にある画像ラインＧ−３０，３１の輝度の増減量（１画素当たりの輝度増減量）で除算し、その結果に基づいて右下方向へ連続する画像ラインパターン（補間可能な画像ラインパターン）までの距離（画素数）とする。同様に、左下方向についても距離を計算する。こうして、画像ラインパターンの両端画素の直下の画素の輝度が増減していれば、その１画素あたりの増減量から補間すべき画像ラインパターンの距離を予測ことができる。
【００３７】
そして、補間パターン予測部１２０の補間実行距離予測部１２３は、入力された画像ラインパターン内の輝度の変化量、長さ（画素数）等から、一致する画像ラインパターンと補間しても画像に破たんが生じない限界距離（画素数）を予測する。
例えば、図５において、ＣラインＥラインＧラインの３画像ラインから生成されたＥライン上の画像ラインパターン５２の輝度の変化量により、各画像ラインパターンが短くなる場合、補間した画像に本来形成されてはならない画像が形成されない限界距離を予測する。
【００３８】
補間パターン予測部１２０では、パターン情報生成部１００で生成されたデータに、上記のような各種予測データを加えて、画像データベース１３０に送る。
【００３９】
＜画像パターンデータベース＞
画像データベース１３０では、パターン情報生成部１００の処理の結果得られたデータおよび補間パターン予測部１２０の処理の結果得られたデータ（予測情報）が画像ラインパターンに関するデータ（パターンデータ）として格納される。
格納されるデータの量は、フィールド内全部の場合もあるが、補間パターン決定部１４０や補間実行部１５０で必要とする複数ライン分だけ格納する場合もある。
【００４０】
＜補間パターン決定部＞
補間パターン決定部１４０は、パターン検索部１４１、パターン一致判定部１４２、パターン一致条件設定部１４３、補間方向判定部１４４、補間実行距離判定部１４５、ベクトル判定部１４６、ベクトル判定条件設定部１４７からなる構成である。
【００４１】
パターン検索部１４１では、画像データベース１３０から入力された画像ラインパターンのパターンデータについて、画像データベース１３０に格納されている他ラインの画像ラインパターンのパターンデータの中から一致している可能性のあるパターンデータを抽出する。
例えば、補間パターン予測部１２０の検索距離予測部１２２で予測された検索距離に基づいて、判定を行う対象となる画像ラインパターンの中心を軸として他ラインの左右それぞれ２地点ずつ、合わせて４地点について画像ラインパターンの存在を確認する。ここで左側の２地点でみつかった画像ラインパターンが異なる画像ラインパターンであった場合は、判定を行う対象となる画像ラインパターンの中心に近い側で、かつ、判定を行う対象となる画像ラインパターンのパターンデータと見つかった画像ラインパターンのパターンデータの符号情報が等しいパターンデータを採用する。右側の２地点についても同様に行う。したがって、最大で画像ラインパターンのパターンデータは左右から１つずつ抽出される。
【００４２】
図６では、検索距離予測部１２２で予測された検索距離に基づいて、入力画像ラインＥ−１７，１８，１９，２０，２１，２２，２３の区間にある画像ラインパターン４２に関するデータ（パターンデータ４２）と一致する可能性のあるパターンデータを検索する様子を示している。入力画像ラインＥの画像パターンデータ４２の中心を軸として、左側では、検索した２地点とも入力画像ラインＧ−１１，１２，１３，１４，１５，１６，１７の区間にある画像ラインパターンが検出されるので、画像ラインパターン４３に関するデータ（パターンデータ４３）が抽出される。右側では、検索した入力画像ラインＥの画像ラインパターン４２の中心に近い入力画像ラインＧ−１８，１９，２０，２１，２２，２３，２４の区間にある画像ラインパターンが検出されるので、画像ラインパターン５３に関するデータ（パターンデータ５３）が抽出される。しかし、パターンデータ４２の符号とパターンデータ５３の符号とは一致しないので、最終的に入力画像ラインＧ−２５，２６，２７，２８，２９，３０，３１の区間にある画像ラインパターン６３に関するデータ（パターンデータ６３）が抽出される。
【００４３】
今、補間パターン決定部１４０が、画像データベース１３０に登録されている画像ラインパターンのパターンデータを処理する場合に、フィールド画像のライン単位に上のラインから下方向に１ラインずつ順次処理を進める構成になっているとする。すると、現在判定を行う対象である、基となる画像ラインパターンのパターンデータ（基パターンデータ）は、下方向にある画像ラインパターンのパターンデータと比較することになる。
そこで、パターン一致判定部１４２では、パターン一致条件設定部１４３に設定された条件に基づいて、パターン検索部１４１での検索の結果抽出された、１ライン下の画像ラインパターンのパターンデータと基パターンデータの内容が一致しているかを判定する。
【００４４】
パターン一致判定部１４２で判定する内容としては、画像ラインパターン内の最大／最小輝度値、画像ラインパターン内の輝度の増減の幅と方向、画像ラインパターン両端の輝度値、画像ラインパターン両端の輝度の増減量等、パターン情報生成部１００の情報収集部１０５で収集したデータの詳しい内容である。これらパターンデータの内容の差がパターン一致条件設定部１４３に設定された閾値以内であれば、基パターンデータとパターン検索部１４１での検索の結果抽出されたパターンデータは一致していると判定する。基パターンデータと一致していると判定されたパターンデータを、以下で候補パターンデータと呼ぶ。
【００４５】
例えば、図４に示すように、入力画像ラインＥ−２４，２５，２６，２７，２８，２９，３０の区間にある画像ラインパターン５２のパターンデータ５２と入力画像ラインＧ−１８，１９，２０，２１，２２，２３，２４の区間にある画像ラインパターン５３のパターンデータ５３とは、画像ラインパターン内の最大／最小輝度値、画像ラインパターン内の輝度の増減の幅と方向、画像ラインパターン両端の輝度値、画像ラインパターン両端の輝度の増減量等のデータの差が、パターン一致条件設定部１４３に設定された条件以内なので、入力画像ラインＥ上の画像ラインパターン５２のパターンデータ５２と入力画像ラインＧ上の画像ラインパターン５３のパターンデータ５３は一致していると判定される。
【００４６】
また、入力画像ラインＥ−１７，１８，１９，２０，２１，２２，２３の区間にある画像ラインパターン４２のパターンデータ４２と入力画像ラインＧ−２５，２６，２７，２８，２９，３０，３１の区間にある画像ラインパターン６３のパターンデータ６３とでは、画像ラインパターン内の輝度の増減方向が逆向きなので、パターン一致条件設定部１４３に設定された条件からはずれるため、入力画像ラインＥ上の画像ラインパターン４２のパターンデータ４２と入力画像ラインＧ上の画像ラインパターン６３のパターンデータ６３は一致していないと判定される。
【００４７】
このとき、基パターンデータと左右の２つの画像ラインパターンのパターンデータについてこの一致判定を行うが、左右両方のパターンが両方ともに基パターンデータと一致していると判定された場合には、誤抽出である可能性が高いため、左右両方の一致判定を破棄し、両方共に一致していないとして扱う。
以上の結果、図７に示すように入力画像ラインにある画像ラインパターンのパターンデータには一方向のみに候補パターンデータが存在するとして特定される。
【００４８】
次に補間方向判定部１４４では、一致していると判定された候補パターンデータと基パターンデータの接続方向と、補間パターン予測部１２０の補間方向予測部１２１から入力された、候補パターンデータと基パターンデータそれぞれの補間可能方向／補間不可能方向との間で判定を行う。
【００４９】
基パターンデータと候補パターンデータの位置情報を用いて、まず基パターンデータの画像ラインデータから候補パターンデータの画像ラインデータが存在する方向を導き出し、この方向が補間可能方向になっているかの判定を行い、次に候補パターンデータの画像ラインデータから基パターンデータの画像ラインデータが存在する方向を導き出し、この方向が補間可能方向になっているかの判定を行う。この両者の判定がともに有効であった場合、候補パターンデータは補間可能な方向にあると判断される。
例えば、画像ラインＥの画像ラインパターン５２のパターンデータ５２と画像ラインＧの画像ラインパターン５３のパターンデータ５３の間での判定では、まず、基パターンデータである画像ラインＥの画像ラインパターン５２のパターンデータ５２の左下方向が補間可能方向になっているかの判定を行い、続いて、候補パターンデータである画像ラインＧの画像ラインパターン５３のパターンデータ５３の右上方向が補間可能方向になっているかの判定を行う。
【００５０】
次に補間実行距離判定部１４５では、補間パターン予測部１２０の間実行距離予測部１２３から入力された補間実行距離に基づき、一致しているとして抽出された候補パターンデータと基パターンデータの間の距離についての判定を行う。候補パターンデータと基パターンデータの間の距離が、補間実行距離より小さい場合、候補パターンデータは補間可能な距離に存在すると判断される。
【００５１】
さらに、実際の画像においては途切れの有る細線やエッジ部等が存在する場合が有り、一致パターンの誤抽出を防止するために、ベクトル判定を行う。
今、補間パターン決定部１４０が、画像データベース１３０に登録されているパターンデータを処理する場合に、フィールド画像のライン単位に上のラインから下方向に１ラインずつ順次処理を進める構成になっているとする。すると、現在判定を行う対象である基パターンデータと基パターンデータの画像ラインデータが存在するラインより１つ上のラインに存在する画像ラインパターンのパターンデータの間では、既に一致関係の有無が決定されている。そこでベクトル判定部１４６では、現在判定を行っている基パターンデータに対して、この基パターンデータを候補パターンデータとする基パターンデータの画像ラインデータが存在するラインより１つ上のラインに存在する画像ラインパターンのパターンデータが存在しないか画像データベース１３０に問い合わせる。
【００５２】
基パターンデータを候補パターンデータとするパターンデータが存在しない場合は、現在の基パターンデータと候補パターンデータの一致関係を画像データベース１３０に登録して処理を終える。
基パターンデータを候補パターンデータとするパターンデータが存在した場合は、現在の基パターンデータ、候補パターンデータを加えた３パターンについてベクトル判定を行う。これはベクトル判定条件設定部１４７の設定に基づいて、３つのパターンデータの開始位置・長さ・重なり量などについての判定（ベクトル判定）を行い、この３つのパターンデータが連続的に補間されるべき画像ラインパターンであるかどうかが判定される。
【００５３】
例えば、入力画像ラインＥ上の画像ラインパターンデータ４２のパターンデータ４２が基パターンデータのとき、パターンデータ４２には候補パターンデータとして入力画像ラインＧ上の画像ラインパターン４３のパターンデータ４３が存在する。この時既に、１ライン上の入力画像ラインＣ上の画像ラインパターン４１のパターンデータ４１と画像ラインパターン４２のパターンデータ４２の一致関係が決定されているので、３つのパターンデータ４１，４２，４３それぞれの画像ラインパターン４１，４２，４３の開始位置・長さ・重なり量について判定を行う。
本実施形態では、図７に示すように、３つの画像パターンデータ４１，４２，４３それぞれの画像ラインパターン４１，４２，４３とも同じ長さであり、また、３つのパターンデータそれぞれの画像ラインパターンとも直線上にならんでいるため、連続的に補間されるべき画像ラインパターンであると判定される。
【００５４】
＜補間実行部＞
次に、補間実行部１５０における補間実行処理について説明する。
補間実行部１５０は、補間実行区間決定部１５１、補正手段１５３、補間画素列演算部１５２、動き情報処理部１５４から構成される。
補間実行区間決定部１５１では、補間パターン決定部１４０から入力された一致関係情報と、画像データベース１３０から得られる基パターンデータと候補パターンデータそれぞれの画像ラインパターンの開始位置と長さのデータから、補間を実行する区間（位置と長さ）を決定する。
【００５５】
補間を実行する区間の長さは、基パターンデータに対応する画像ラインパターンの長さと候補パターンデータに対応する画像ラインパターンの長さの平均とする。また、補間を実行する区間の位置は、基パターンデータに対応する画像ラインパターンのある上側画像ラインと候補パターンデータに対応する画像ラインパターンのある下側画像ラインに挟まれる補間ライン上で、基パターンデータに対応する画像ラインパターンの中心点と候補パターンデータに対応する画像ラインパターンの中心点を結んだ直線の中央が、補間を実行する区間の中心点になるように決定している。
但し、補間を実行する区間の位置と長さの決定方法は、上記方法に限定されるものでは無い。
【００５６】
図８および図９に補間実行区間決定部１５１において決定された補間を実行する区間を示す。本実施例では、画像ラインの基パターンデータに対応する画像ラインパターンと候補パターンデータに対応する画像ラインパターンの長さを同じに表現しているため、補間を実行する区間も同じ長さになる。
画像ラインＥの基パターンデータ４２に対応する画像ラインパターン４２と画像ラインＧの候補パターンデータ４３に対応する画像ラインパターン４３の補間を実行する区間は補間ラインＦ上の区間７２であり、画像ラインＥの基パターンデータ５２に対応する画像ラインパターン５２と画像ラインＧの候補パターンデータ５３に対応する画像ラインパターン５３の補間を実行する区間は補間ラインＦ上の区間８２である。
【００５７】
次に、補間画素列演算部１５２では、補間実行区間決定部１５１において決定された補間を実行する区間に上書きする画素列（補間画素列）を作成する。
基パターンデータに対応する画像ラインパターンの長さと候補パターンデータに対応する画像ラインパターンの長さが同じ場合、基パターンデータに対応する画像ラインパターンと候補パターンデータに対応する画像ラインパターンの各画素毎に平均を取ったものが補間画素列である。
基パターンデータに対応する画像ラインパターンの長さと候補パターンデータに対応する画像ラインパターンの長さが異なっている場合は、基パターンデータに対応する画像ラインパターンと候補パターンデータに対応する画像ラインパターンを補間を実行する区間と同じ長さになるように拡大または縮小した後、各画素の平均を取ったものが補間画素列である。拡大／縮小を用いなくても、基パターンデータに対応する画像ラインパターンと候補パターンデータに対応する画像ラインパターンの開始位置・長さを調整する方法もあり、上記方法に限らない。
【００５８】
図１０および図１１に補間画素列演算部１５２において作成された画像データを、補間実行区間決定部１５１において決定された補間を実行する区間に上書きした状態で示す。本実施形態では、画像ライン上にある一致する複数に対応する画像ラインパターンの長さと補間ライン上にある補間を実行する区間の長さを同じに表現しているため、拡大／縮小等、長さを調整する処理は行われない。例えば、画像ラインＥの基パターンデータ４２に対応する画像ラインパターン４２と画像ラインＧの候補パターンデータ４３に対応する画像ラインパターン４３の画像画素列は同じなので、補間を実行する区間である補間ラインＦ上の区間７２に上書きされている画素列は基パターンデータ４２に対応する画像ラインパターン４２や候補パターンデータ４３に対応する画像ラインパターン４３と全く同じになる。
【００５９】
上記処理により、各補間実行区間に対する補間画素列が設定され、動き情報処理部１５４では入力された動き情報を使って別フィールドとの調和をとり、補正手段１５３にて補間ラインの周りの画素との調和を取ながら、補間画素列にて補間を実行する区間を上書きまたは既にある補間を実行する区間の画素列とブレンドすることで、ライン補間が実行される。ただし、動き情報処理部１５４や補正手段１５３は必ず必要な手段とは限らない。
【００６０】
なお、補間ライン上の補間を実行する区間以外の画素は従来技術の補間方法で補間を行う。従来技術の補間方法とは、例えば、上下入力画像ラインの画像データの平均値で補間ラインを補う方法や上入力ラインの画像データで補間ラインを補う方法、また、次フィールド画像で補間ラインを補う方法等がある。
【００６１】
【発明の効果】
上記にて説明された本発明により以下の効果がもたらされる。
本発明によれば、共通の輝度差分特性を有しライン方向に連続する画素列を抽出するとともに、該画素列に関する情報を生成し、生成した情報データからライン間で補間可能な画素列を決定して、補間可能な画素列の間に補間画素列を設定して補間を実行するので、処理速度を大幅に削減することができる。さらに、フィールド画像において、ライン間に画像の途切れがある場合であっても、隣接ライン上の一致画素列で補間実行することができ、途切れのない滑らかなフレーム画像を生成することができる。
【００６２】
本発明によれば、パターン情報生成手段が画像ラインパターンの画素列の情報収集して、画素単位の演算を排除することで、処理速度の向上を図っている。特に、情報収集手段がパターンとして連続する画素列の情報を入力画像から収集することによって、一致するパターンの検索を画素列演算を不用として、補間処理速度を大幅に向上させることができる。
【００６３】
本発明によれば、コアリング処理を行うことにより、歪みやノイズを検出し、画像表示に影響のない目立たない箇所や判断しにくい箇所を削除するので、画質を維持しながら補間処理速度を大幅に改善できる。
【００６４】
本発明によれば、補間可能な画像ラインパターンの存在位置を予測するので、誤謬のないライン補間が可能となる。
【００６５】
本発明によれば、画像ラインパターンのパターン情報が一致するかを判定し、補間可能な画像ラインパターンを決定するので、演算処理をスピーディに実行できる。特に、一致すると判定した画像ラインパターンに対してベクトル判定を行うので、誤認のないライン補間が可能となる。
【００６６】
本発明によれば、パターン情報が一致する画像ラインパターン間の画素列を設定して補間するので、水平に細線画像のように、ライン間で画像が途切れた場合でも途切れのないなめらかのフレーム画像を生成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像補間装置の一実施形態の構成を示すブロック図である。
【図２】白い背景に黒い細線映像のフィールド画像が写し出されたモニタ画面の説明図である。
【図３】図２のフィールド画像の拡大図である。
【図４】画像ライン位置での画像ラインパターンを示す説明図である。
【図５】画像ラインパターンの両端部分から補間パターン予測を行う説明図である。
【図６】一致する画像ラインパターンを検索する説明図である。
【図７】一致するパターン検索終了時のベクトル方向を示す説明図である。
【図８】１ライン補間する時の画像ラインパターンと補間実行位値の関係図である。
【図９】１ライン補間後のフレーム拡大図と補間実行位置の関係図である。
【図１０】複数ラインに渡った画像ラインパターンと補間実行位置の関係図である。
【図１１】複数ライン補間後のフレーム拡大図と補間実行位置の関係図である。
【図１２】複数ライン補間後のフレーム拡大図である。
【図１３】従来技術に係る画像の補間方法における画像ラインと補間ライン上での各画素列の位置関係を示す説明図である。
【図１４】従来技術に係る画像の補間方法における近傍画素列と対象画素列との相関を求める処理を示す説明図である。
【図１５】従来技術に係る画像の補間方法におけるその他の近傍画素列と対象画素列との相関を求める処理を示す説明図である。
【図１６】従来技術に係る画像の補間方法におけるエッジ個所での補間を示す説明図である。
【符号の説明】
１００  パターン情報生成部
１０１  縦方向輝度値の２回差分演算部
１０２  正規化処理部
１０３  パターン抽出部
１０４  縦方向相関検出部
１０５  情報収集部
１１０  コアリング処理部
１１１  パターン内画像の歪み・ノイズ検出部
１１２  パターン編集判定部
１１３  パターン編集実行部
１２０  補間パターン予測部
１２１  補間方向予測部
１２２  検索距離予測部
１２３  補間実行距離予測部
１３０  画像データベース
１４０  補間パターン決定部
１４１  パターン検索部
１４２  パターン一致判定部
１４３  パターン一致条件設定部
１４４  補間方向判定部
１４５  補間実行距離判定部
１４６  ベクトル判定部
１４７  ベクトル判定条件設定部
１５０  補間実行部
１５１  補間実行区間決定部
１５２  補間画素列演算部
１５３  補正手段
１５４  動き情報処理部
【図１】
0003862531.tif 000002
【図２】
0003862531.tif 000003
【図３】
0003862531.tif 000004
【図４】
0003862531.tif 000005
【図５】
0003862531.tif 000006
【図６】
0003862531.tif 000007
【図７】
0003862531.tif 000008
【図８】
0003862531.tif 000009
【図９】
0003862531.tif 000010
【図１０】
0003862531.tif 000011
【図１１】
0003862531.tif 000012
【図１２】
0003862531.tif 000013
【図１３】
0003862531.tif 000014
【図１４】
0003862531.tif 000015
【図１５】
0003862531.tif 000016
【図１６】
0003862531.tif 000017