(57)【特許請求の範囲】
【請求項１】
入力画像ライン間の補間ラインに画像を補間する補間システムにおいて、
入力画像ラインデータの隣接ライン間の画素差分の符号に基づいて生成された画素列を単位とする仮想補間ラインパターンに関する開始位置と長さと符号とを含む仮想補間データを生成してデータベースに格納し、
前記データベースに格納された連続するライン上の仮想補間データについて一致判定を行い、前記判定の結果に基づいて前記補間ラインにおける補間区間を決定し、
前記補間区間決定のデータと前記補間区間の決定に使用された仮想補間データの開始位置と長さから前記入力画像ライン上に一致する画素列のデータを算出し、前記一致する画素列のデータに基づいて前記入力画像ライン上に補間元画素列を設定し、
前記補間元画素列に基づいて前記補間ライン上の前記補間区間に画像を補間する
ことを特徴とする画像の補間システム。
【請求項２】
請求項１に記載された画像の補間システムにおいて、
前記仮想補間データは仮想補間ラインパターン生成手段で生成し、
前記補間区間は補間区間決定手段で決定し、
前記入力画像ライン上への前記補間元画素列の生成と、前記補間ラインへの画像の補間とを、補間実行手段で行う
ことを特徴とする画像の補間システム。
【請求項３】
請求項２に記載された画像の補間システムにおいて、
前記仮想補間ラインパターン生成手段によって生成される仮想補間データは、全ラインの入力画像について生成されることを特徴とする画像の補間システム。
【請求項４】
請求項２または３に記載された画像の補間システムにおいて、
前記仮想補間ラインパターン生成手段は、入力映像ラインの隣接ライン間の画素差分を演算する画素間演算手段と、前記演算された画素差分毎のデータを複数のランクの画素に分類する正規化手段と、前記正規化された同一ランクの連続する画素列をパターンとして抽出するパターン抽出手段と、を備える
ことを特徴とする画像の補間システム。
【請求項５】
請求項２または３に記載された画像の補間システムにおいて、
前記仮想補間ラインパターン生成手段は、入力映像ラインの隣接ライン間の画素差分を演算する画素間演算手段と、前記演算された画素差分毎のデータを複数のランクの画素に分類する正規化手段と、前記正規化された同一ランクの連続する画素列をパターンとして抽出するパターン抽出手段と、同一補間ライン上で抽出された前記パターンを所定の閾値で判定して編集するコアリング手段と、を備える
ことを特徴とする画像の補間システム。
【請求項６】
請求項５に記載された画像の補間システムにおいて、
前記コアリング手段は、パターン内の画素単位の画素差分を演算して平均値を演算するパターン内画素演算手段と、前記平均値を所定の閾値で判定して編集するパターン編集手段と、を備える
ことを特徴とする画像の補間システム。
【請求項７】
入力画像ライン間の補間ラインに画像を補間する補間方法において、
入力画像ラインデータの隣接ライン間の画素差分の符号に基づいて生成された画素列を単位とする仮想補間ラインパターンに関する開始位置と長さと符号とを含む仮想補間データを生成してデータベースに格納するステップと、
前記データベースに格納された連続するライン上の仮想補間データについて一致判定を行い、前記判定の結果に基づいて前記補間ラインにおける補間区間を決定するステップと、
前記補間区間決定のデータと前記補間区間の決定に使用された仮想補間データの開始位置と長さから前記入力画像ライン上に一致する画素列のデータを算出し、前記一致する画素列のデータに基づいて前記入力画像ライン上に補間元画素列を設定するステップと、を備える
ことを特徴とする画像の補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の補間システムおよび画像の補間方法に係わり、特に、走査線数が異なるテレビジョン方式のアップコンバートや、インターレース走査映像信号から順次走査映像信号に変換するにあたり、フィールド画像からフレーム画像を生成する際等の、ライン補間による画像の補間システムおよび画像の補間方法に関する。
【０００２】
【従来の技術】
従来、走査線数が異なるテレビジョン方式のアップコンバートや、画像の高細精化のために、インターレース映像からプログレッシブ映像を生成する走査線補間方法として、静止画に対してはフレーム内補間が行われるが、動画においてはフレーム相関が崩れるためフレーム内補間では動きのある縦線がギザギザに誤変換される等の不具合が発生するため、動画に対してはフィールド内補間が行われる。
【０００３】
フイールド内補間の方法としては、簡便な方法として、補間すべきラインとして前ラインをそのまま用いるライン補間方法や、上下のラインの平均値を用いるライン補間方法がある。前者の補間方法では、斜線等のような垂直方向に相関の無い画像では画像の輪郭線にギザギザが生じ、また、後者の補間方法では画像にボケが生じるといった画像の劣化を伴っていた。
【０００４】
これらの欠点を解消する手法として、特開昭６３−１８７７８５号公報に記載の補間方法では、補間すべきラインの各画素を、その画素の周辺において最も相関の強い方向の画素情報を用いて補間するものであり、まず補間画素から放射状に延びるどの方向の画素信号が最も相関が強いかを知るために、垂直方向，右斜め方向，左斜め方向の隣接画素の差分絶対値を求め、差分絶対値が最小となる方向が最も相関が強い方向であると判断して、その方向にある各画素の平均値を求め、それを補間画素の値とする方法である。
【０００５】
しかしながら、この方法では、補間すべきラインの各画素について、即ち、１画素毎について少なくとも上記のような３方向の差分絶対値を算出し、さらに、それらの差分絶対値の最小を判断して補間画素の値を求めるという処理を必要とするので、補間処理速度が遅く、また画像中のエッジ部分以外の領域（画素値が変化しない領域）のように、いずれの方向においても相関の強さに差がない場合でも、上記の一連の処理を行うので無駄な処理時間が費やされており、補間の処理速度が遅く、相関を求める画素の範囲を拡大することも困難であった。
【０００６】
そのため、傾斜角度の小さな斜線のようにかなり離れたところで相関をもつ画像の補間を行う場合には、それらの相関の強い画素を使った補間ができないために、補間精度が悪くなり、依然として斜線部のエッジにガタツキが生じることにもなっていた。
【０００７】
特開平５−３０４８７号公報には、上記公報の欠点を改善するために、補間の処理速度を向上させるとともに、処理速度の向上に伴って相関を求める範囲を拡大し補間の精度を向上させる方法が開示されている。
【０００８】
以下に、この公報に開示されている画像の補間方法について図１４乃至図１７と共に説明する。
【０００９】
先ず、この補間方法は、図１４に示すように、２次元画像の隣接するｎラインとｎ＋１ラインの各画素を比較して、それぞれのライン上の２次元画像のエッジ箇所ａ，ｂを検出する。補間すべき補間ラインでは、前記エッジが検出されたａ，ｂ間以外では隣接するいずれかのラインの画素を用いて補間することとし、補間ラインのエッジ部を求める。
【００１０】
次いで、図１５に示すように、エッジ箇所ａ，ｂでは隣接するいずれか一方のライン（ｎライン）上の注目画素（ここではＡとする）を中心とした「画素数」と「補間位置からのシフト量」からなる近傍画素列（３，０）として設定し、これと相関のある対象画素列（３，１）を隣接する他方のライン（ｎ＋１ライン）の中から選出する。
【００１１】
ここで、近傍画素列と対象画素列との相関を取るための一般式としては、近傍画素列＝（２ｍ＋１、０）、対象画素列＝（２ｍ＋１、±Ｙ）を用い、ｍ＝Ｙ＝１，２，３，４，５ぐらいまでを順に可変して行く。
【００１２】
次に、図１６に示すように、近傍画素列（３，０）と対象画素列（３，１）との間で、図中矢印のような画素対で演算を行い、画素レベルの差が所定の基準値内かどうかで相関の判定を行う。同図に示す場合は、中央画素対に相関がないため、次にｍ＝Ｙ＝２とし、それぞれ近傍画素列を（５，０）、対象画素列を（５，２）とし図中失印のような画素対で演算を行う。図中矢印のような画素対での演算で相関有りと判断されると、その時の補間位置からのシフト量が２画素となり、即ち、図１７に示すように、ａ部とｂ部が２画素ズレているとして、求めた画素数の半数だけ、前記選出した画素列または近傍画素列を位置ズレ方向とは逆の方向にシフトした画素列、即ち、Ａから右へ１画素シフトしたｃ点を中心とする画素列を用いて補間する方法である。
【００１３】
【発明が解決しようとする課題】
しかしながら、特開平５−３０４８７号公報に示される補間方法は、一般的に行われている画素単位による補間方法に比べ画素列による補間を取り入れ、処理速度を向上させる発明であるが、画素列のエッジ部分を決定するために、エッジ部付近において、少なくとも３画素から１１画素程度まで画素シフトを行いながらライン間演算を行うものであり、演算時間がかかる点では未だ問題の残る方法である。さらに、この補間方法は、画像の輪郭を滑らかにする方法であり、水平に近い細線画像のように、ライン間で画像が途切れた場合の修復が出来ないという問題も有している。
【００１４】
本発明の目的は、上記の従来技術の間題点に鑑みて、細線映像や映像エッジ部等を含む種々の映像に対して、速度処理を大幅削減し、リアルタイムの補間処理を可能にした画像補間システムおよび画像補間方法を提供することにある。
【００１５】
【課題を解決するための手段】
本発明は上記の課題を解決するために、次のような手段を採用した。
【００１６】
第１の手段は、画像を形成する各ライン間の画像の補間システムにおいて、
入力画像ラインデータに基づき入力画像ライン間の仮想補間データを作成する仮想補間データ生成手段と、前記生成された仮想補間データに基づいて、入力画像ライン間の画素を補間する補間手段と、を有することを特徴とする。
【００１７】
第２の手段は、画像を形成する各ライン間の画像の補間システムにおいて、
入力画像ラインデータに基づき入力画像ライン間の仮想補間データを生成する仮想補間データ生成手段と、前記生成された仮想補間データに基づいて、入力画像ライン上に補間元画素を生成し、上下入力画像ライン上の前記生成された補間元画素間の相互演算によって、前記上下入力画像ライン間の画素を補間する補間手段と、を有することを特徴とする。
【００１８】
第３の手段は、画像を形成する各ライン間の画像の補間システムにおいて、入力画像ラインデータに基づき入力画像ライン間の仮想補間データを生成する仮想補間データ生成手段と、前記生成された仮想補間データに基づいて、入力画像ライン間の補間区間およびまたは補間方向を決定する補間区間決定手段と、前記生成された仮想補間データおよび前記補間区間決定手段によって決定された補間区間決定データに基づいて、入力画像ライン上に補間元画素を生成し、前記生成された補間元画素に基づいて入力画像ライン間を補間する補間手段と、を有することを特徴とする。
【００１９】
第４の手段は、第３の手段において、前記補間区間決定手段は、パターン検索範囲を設定する検索条件設定手段と、一致パターン条件を設定する一致パターン条件設定手段と、前記検索条件設定手段および前記一致パターン条件設定手段に設定される条件に基づいて一致パターンを検索する第１の一致パターン検索手段と、から構成されることを特徴とする。
【００２０】
第５の手段は、第３の手段において、前記補間区間決定手段は、パターン検索範囲を設定する検索条件設定手段と、一致パターン条件を設定する一致パターン条件設定手段と、前記検索条件設定手段および前記一致パターン条件設定手段に設定される条件に基づいて、一致パターンを検索する第１の一致パターン検索手段と、前記検索された一致パターンのベクトル方向を抽出する方向ベクトル抽出手段と、前記検索条件設定手段および前記一致パターン条件設定手段に設定される条件に基づいて、抽出されたベクトル方向における一致パターンを検索する第２の一致パターン検索手段と、から構成されることを特徴とする。
【００２１】
第６の手段は、第１の手段ないし第５の手段のいずれか１つの手段において、前記仮想補間データ生成手段によって生成される仮想補間データは、全ラインの入力画像について生成されることを特徴とする。
【００２２】
第７の手段は、第１の手段ないし第６の手段のいずれか１つの手段において、
前記仮想補間データ生成手段によって生成される仮想補間データは、画素列を単位とするデータで構成されることを特徴とする。
【００２３】
第８の手段は、第１の手段ないし第７の手段のいずれか１つの手段において、
前記仮想補間データ生成手段は、入力映像ラインの隣接ライン間の画素差分を演算する画素間演算手段と、前記演算された画素差分毎のデータを複数のランクの画素に分類する正規化手段と、前記正規化された同一ランクの連続する画素列をパターンとして抽出するパターン抽出手段とから構成されることを特徴とする。
【００２４】
第９の手段は、第１の手段ないし第７の手段のいずれか１つの手段において、前記仮想補間データ生成手段は、入力映像ラインの隣接ライン間の画素差分を演算する画素間演算手段と、前記演算された画素差分毎のデータを複数のランクの画素に分類する正規化手段と、前記正規化された同一ランクの連続する画素列をパターンとして抽出するパターン抽出手段と、同一補間ライン上で抽出された前記パターンを所定の閾値で判定して編集するコアリング手段と、から構成されることを特徴とする。
【００２５】
第１０の手段は、第９の手段において、前記コアリング手段は、パターン内の画素単位の画素差分を演算して平均値を演算するパターン内画素演算手段と、前記平均値を所定の閾値で判定して編集するパターン編集手段と、から構成されることを特徴とする。
【００２６】
第１１の手段は、画像を形成する各ライン間の画像の補間方法において、入力画像ラインデータに基づき入力画像ライン間の仮想補間データを作成するステップと、前記生成された仮想補間データに基づいて、入力画像ライン間の画素を補間するステップと、からなることを特徴とする。
【００２７】
第１２の手段は、画像を形成する各ライン間の画像の補間方法において、入力画像ラインデータに基づき入力画像ライン間の仮想補間データを生成するステップと、前記生成された仮想補間データに基づいて、入力画像ライン上に補間元画素を生成し、上下入力画像ライン上の前記生成された補間元画素間の相互演算によって、前記上下入力画像ライン間の画素を補間するステップと、からなることを特徴とする。
【００２８】
第１３の手段は、画像を形成する各ライン間の画像の補間方法において、入力画像ラインデータに基づき入力画像ライン間の仮想補間データを生成するステップと、前記生成された仮想補間データに基づいて、入力画像ライン間の補間区間およびまたは補間方向を決定するステップと、前記生成された仮想補間データおよび前記決定された補間区間決定データに基づいて、入力画像ライン上に補間元画素を生成し、前記生成された補間元画素に基づいて入力画像ライン間に画像を補間するステップと、を有することを特徴とする。
【００２９】
【発明の実施形態】
本発明の第１の実施形態を図１乃至図８と共に説明する。
【００３０】
図１は、本実施形態に係る画像の補間システムの構成を示すブロック図である。
【００３１】
同図において、１００は入力映像を入力して仮想補間ラインパターンを生成する仮想補間ラインパターン生成部、１２０は生成された仮想補間ラインパターンを格納する仮想補間データベース、１３０は補間区間および補間方向を決定する補間区間決定部、１４０は演算された各種のデータに基づいて補間を実行する補間実行部である。
【００３２】
仮想補間ラインパターン生成部１００は、画素間輝度差分演算部１０１、正規化処理部１０２、パターン抽出部１０３、コアリング処理部１１０、パターン内輝度差分演算部１１１、パターン編集判定部１１２、パターン編集実行部１１３から構成される。
【００３３】
補間区間決定処理部１３０は、第１の一致パターン検索部１３１、一致パターン条件設定部１３２、検索条件設定部１３３、一致パターン特定部１３４、方向ベクトル抽出部１３５、第２の一致パターン検索部１３６から構成される。
【００３４】
また、補間実行部１４０は、一致画素列検索部１４１、検索条件設定部１４２、補間元画素列設定部１４２、補間元画素列設定部１４３、一致画素列演算部１４４、補正手段１４５から構成される。
【００３５】
図２は、入力映像の一例としての白い背景に黒い細線映像のフレーム映像が映し出されたモニタ画面を示す図である。
【００３６】
同図において、１はモニター画面、２は斜めの細線映像であり、３は本実施形態の画像の補間対象としている図３に示す入力画像の拡大ポイントを示す。
【００３７】
図３は、図２に示す拡大ポイントの入力映像ラインと補間ラインを示す図である。
【００３８】
同図において、Ａ，Ｃ，Ｅ，Ｇ，Ｉは入力映像ラインであり、Ｂ，Ｄ，Ｆ，Ｈは補間ラインを表す。２１（Ａ３３〜Ａ３５），２２（Ｃ２７〜Ｃ３１），２３（Ｅ２１〜Ｅ２５），２４（Ｇ１５〜Ｇ１９），２５（ｉ２１〜ｉ３１）は斜めの細線映像２が黒パターン部として示された部分であり、他は白パターン部を表している。
【００３９】
同図に示すように、フィールド映像を取り出した場合、映像のエッジ部分や細線映像の傾きが水平に近づくにしたがい映像の途切れが大きくなり、補間によりフレーム映像を生成する場合でも、適切な補間方法を行わないと映像が切れたり、輪郭に段差が残ることになる。
【００４０】
次に、本実施形態に係る画像の補間システムの動作を図１乃至図８を用いて説明する。
【００４１】
はじめに、仮想補間ラインパターン生成部１００における仮想補間ラインパターンの生成について説明する。
【００４２】
仮想補間ラインパターン生成部１００の画素間輝度差分演算部１０１に入力された入力映像は、例えば、輝度差分値を±１２７とし、図３において、ＡラインとＣライン、ＣラインとＥライン、ＥラインとＧライン、ＧラインとＩラインとのそれぞれの入力映像の上下２ライン間で対向画素間の輝度差分値を演算し、補間ライン画素データを得る。次いで、正規化処理部１０２では、設定されている閾値を基に、正規化処理が行われ、各補間ライン画素データを＋，−，０の３種類に分類する。パターン抽出部１０３では、この内、＋または−の同じ種類が連続している区間をパターンとして抽出する。
【００４３】
さらに、抽出されたパターンは、コアリング処理部１１０のパターン内輝度差分演算部１１１においてパターン内の輝度差分値の平均値が演算される。次いで、パターン編集判定部１１２では、設定されている閾値や最小ドット数や最大ドット数等のパターン編集基準値と先の平均値とを比較して、例えば、平均値が閾値に達しないような所は、目立たない個所や判断し難い個所としてパターンとしてはみなさず、パターン編集実行部１１３で削除される。
なお、パターン編集判定部１１２では、近接するパターン間での符号比較により、パターンの延長や接続等の編集判定を行うこともある。
【００４４】
図４は、仮想補間ラインパターン生成部１００において、上記の処理を経て得られた仮想補間ラインパターンを示す図である。
【００４５】
同図において、４１〜４４は−に分類された仮想補間ラインパターン、５１〜５４は＋に分類された仮想補間ラインパターン、その他は０に分類された仮想補間ラインパターンである。
【００４６】
仮想補間ラインパターン生成部１００では、さらに図４に示すように補間ライン毎に切り分けが終わった仮想補間ラインパターンについて、再度取り直された輝度差分値の平均、各パターン毎に開始位置、長さ、符号（＋、−）、輝度差分値平均値等のデータとして作成して、仮想補間データデース１２０へ送る。仮想補間データベース１２０では、処理の結果得られたデータが仮想補間ラインパターンデータとして格納される。格納されるデータの量は、フィールド内全部の場合もあるが、補間区間決定処理部１３０や補間実行部１４０で必要とする複数ライン分だけ格納する場合もある。
次に、補間区間決定処理部１３０における補間区間および補間方向の決定処理について説明する。
【００４７】
図５は第１の一致パターン検索部１３１における一致パターン検索時の様子を説明する図である。
【００４８】
仮想補間データデース１２０から仮想補間データが補間区間決定処理部１３０の第１の一致パターン検索部１３１に入力されると、第１の一致パターン検索部１３１では、各仮想補間ラインパターン４１〜４４，５１〜５４のそれぞれについて一致パターンを検索する。例えば、仮想補間ラインＤ−２１、２２、２３、２４、２５の区間にある仮想補間ラインパターン４２に対する一致パターンの検索について述べると、この仮想補間ラインパターン４２について、検索条件設定部１３３に設定されている検索範囲や一致パターン条件設定部１３２に設定されている符号、区間長、輝度差分平均値等の一致判定条件に基づいて、Ｆライン上で、仮想補間ラインパターン４２と合致する仮想補間ラインパターンを、図５の矢印で示すように、下および下の左右の仮想補間ラインパターンから探し出す。
【００４９】
次に、一致パターン特定部１３４では、上記の検索の結果、検索範囲内に存在し、＋、−の符号が一致しており、かつ区間長や輝度差分の平均値がほぼ一致した場合は、その仮想補間ラインパターンを仮想補間ラインパターン４２の一致パターンとして抽出する。さらに、仮想補間ラインパターン４２の中心を軸として、抽出された一致パターンの中心が仮想補間ラインパターン４２の中心軸に一番近いものを軸の左右からそれぞれ１つづつ探し出す。その結果、図５に示すように、仮想補間ラインＦ−１５、１６、１７、１８、１９の区間にある仮想補間ラインパターン４３が一方向のみに存在する一致パターンとして特定される。
【００５０】
さらに、実際の映像においては複数方向に一致パターンが存在する場合や、途切れの有る細線やエッジ部等が存在する場合が有り、一致パターンの誤抽出を防止するために、ベクトル検索を行う。
【００５１】
方向ベクトル抽出部１３５では、一致パターンとして抽出された候補パターンに対して、元パターンからのベクトルを抽出する。ここでは、元パターンである仮想補間ラインパターン４２から一致パターンとして抽出された候補パターン４３のベクトルを抽出する。次いで、第２の一致パターン検索部１３６において、検索条件設定部１３３と一致パターン条件設定部１３２に設定されている条件に基づいて、そのベクトル方向における一致判定条件を満たす近似パターンを検索する。このように、方向ベクトル抽出部１３５および第２の一致パターン検索部１３６におけるベクトル検索に基づいて、ベクトル方向に近似パターンが存在する場合は補間すべき区間と決定し、近似パターンが多く存在する方向の候補パターンを一致パターンとして選択する。なお、ベクトル方向に近似パターンが無い場合はその区間の補間は行わない。これによっては細線やエッジ部の方向や一致パターンの誤抽出を防止する。
【００５２】
図６は、方向ベクトル抽出部１３５および第２の一致パターン検索部１３６におけるベクトル検索時の様子を説明する図である。
【００５３】
同図において、方向ベクトル抽出部１３５によって元パターンである仮想補間ラインパターン４２から候補パターン４３に対し矢印で表すベクトルを抽出し、第２の一致パターン検索部１３６によってベクトル方向のライン（ＢラインとＨライン）上でさらに一致パターンを検索し、その結果、仮想補間ラインＢ−２７，２８，２９，３０，３１の仮想補間ラインパターン４１と一部記載のあるＨ−（９），１０，１１，１２，１３の仮想補間ラインパターン４４が一致パターンとなり、これによって仮想補間ラインパターン４２はベクトル方向の入力映像にて補間すべき区間であると判定される。このとき、仮想補間ラインパターン４２とともに、４３も補間すべき区間と決定することも可能である。また、補間区間決定部１３０で決定した補間決定区間や補間すべき方向等を仮想補間データベース１２０に登録する場合もある。
【００５４】
なお、補間区間決定部１３０における判定方法として、一致パターンがベクトル方向のどのラインに存在するか、また元パターンの中心軸に対し、各ベクトル方向の同一ライン上に一致パターンがいくつ存在するか等、一致パターンの分布状態により評価の重み付けを変えたり、ベクトル検索時の一致パターン判定条件を専用に設定して検索することも可能である。また、本実施形態では、補間の要否や補間すべきパターンの方向を、ベクトル方向に存在する一致パターンの数によって決定しているが、この方法に限定されるものではない。
【００５５】
次に、補間実行部１４０における補間実行処理について説明する。
【００５６】
一致画素列検索部１４１では、入力映像を入力すると共に、補間区間決定処理部１３０から入力された補間決定区間と補間すべき方向の情報に基づいて、検索条件設定部１４２に設定されている一致条件や検索範囲等の条件を基に、入力のフィールド映像において、補間すべき区間の上下入力映像ラインから一致する画素列を抽出する。
【００５７】
次いで、補間元画素列設定部１４３では、補間決定区間に上書きする画素列を設定するために一致画素列の位置データと、仮想補間データデース１２０から得られる隣接するライン間の一致パターンの区間開始位置と長さのデータより、一致画素列の少なくとも一部を含む補間元画素列を設定する。
【００５８】
本実施形態では、補間決定区間と映像ラインの一致画素列の長さを同じに表現しているため、補間元画素列は一致画素列そのものになる。
【００５９】
図７に、補間元画素列設定部１４３において設定された補間元画素列（＝一致画素列）６１〜６３，７１〜７３を示す。
【００６０】
次に、一致画素列演算部１４４では、上ラインの一致画素列６１〜６３と下ラインの一致画素列７１〜７３の映像データの平均値と位置データが演算される。この演算された映像データの平均値と位置データより、補間実行部１４０は、補間ライン上の上ライン一致画素列６１〜６３と下ライン一致画素列７１〜７３の中間位置に、映像データの平均値のパターンを上書きすることにより補間を実行する。
【００６１】
図８に、補間実行部１４０によって補間実行された画素列８１〜８４を示す。
【００６２】
なお、補間ライン上の補間決定区間以外の画素は従来技術の補間方法で補間を行う。従来技術の補間方法とは、例えば、上下入力ラインの映像データの平均値で補間ラインを補う方法や上入力ラインの映像データで補間ラインを補う方法である。
【００６３】
図９は、本実施形態に係る画像の補間システムの構成を示すブロック図である。
【００６４】
本実施形態の画像の補間システムの構成は、仮想補間データベースを基に補間元画素列を設定するため、第１の実施形態において必要としていた補間実行部１４０における一致画素列検索部１４１と検索条件設定部１４２は不要となる。
【００６５】
次に、本実施形態に係る画像の補間システムの動作を図９乃至図１１を用いて説明する。
【００６６】
はじめに、図１０および図１１に映像ラインと補間ライン上での各画素列の位置関係を明示する。
【００６７】
図１０において、映像画素列（黒）２１〜２５（Ａ３３〜Ａ３５、Ｃ２７〜Ｃ３１、Ｅ２１〜Ｅ２５、Ｇ１５〜Ｇ１９、１１０〜１１３）、
補間決定区間（−）４１〜４４（Ｂ２７〜Ｂ３１、Ｄ２１〜Ｄ２５、Ｆ１５〜Ｆ１９、Ｈ１０〜Ｈ１３）、
補間決定区間（＋）５１〜５４（Ｂ３３〜Ｂ３５、Ｄ２７〜Ｄ３１，Ｆ２１〜Ｆ２５、Ｈ１５〜１９）、
補間元画素列６１〜６４，７１〜７４（Ａ３０〜Ａ３４、Ｃ２４〜Ｃ２８、Ｃ３０〜Ｃ３４、Ｅ１８〜Ｅ２２、Ｅ２４〜Ｅ２８、Ｇ１２〜Ｇ１６、Ｇ１８〜Ｇ２２、Ｉ１２〜Ｉ１６）、
を表す。
【００６８】
また、図１１において、映像画素列（黒）２１〜２５（Ａ３３〜Ａ３５、Ｃ２７〜Ｃ３１、Ｅ２１〜Ｅ２５、Ｇ１５〜Ｇ１９、１１０〜１１３）、
補間画素列８１〜８４（Ｂ２７〜Ｂ３１、Ｂ３３〜Ｂ３５、Ｄ２１〜Ｄ２５、Ｄ２７〜Ｄ３１、Ｆ１５〜Ｆ１９、Ｆ２１〜Ｆ１５Ｈ１０〜Ｈ１３、Ｈ１５〜Ｈ１９）、
を表す。
【００６９】
はじめに、補間決定区間４２（Ｄ−２１〜２５）における補間実行用の画素列の設定を例にして説明すると、補間元画素列設定部１４３は、仮想補間データベース１２０から得られる補間決定区間４２、４３（Ｄ−２１〜Ｄ２５、Ｆ−１５〜Ｆ１９）の区間開始位置と長さのデータをもとに、ＣラインとＥラインから、補間元画素列６２，６３（Ｃ２４〜Ｃ２８，Ｅ１８〜Ｅ２２）を設定する。
【００７０】
これは、補間決定区間４２、４３（Ｄ２１〜Ｄ２５、Ｆ１５〜Ｆ１９）の区間開始位置と長さデータより、それぞれの区間の端部間（Ｄ２１−Ｆ１５、Ｄ２５−Ｆ１９）を通る直線が各Ｃライン、Ｅライン上で交差した時に囲われる区間である。
【００７１】
次に画素列演算部１４４において、補間元画素列６２、６３（Ｃ２４〜Ｃ２８、Ｅ１８〜Ｅ２２）の対応する画素同士の平均値演算を行い、図１１に示すように、補間画素列８２（Ｄ２１〜Ｄ２５）が設定される。
【００７２】
次いで、補間元画素列６２，６３（Ｃ２４〜Ｃ２８、Ｅ１８〜Ｅ２２）のＣ２４とＥ１８の平均値演算により補間画素列８２（Ｄ２１〜Ｄ２５）のＤ２１の画素データが設定され、逐次Ｃ２８とＥ２２までの平均値演算により、補間画素列８２（Ｄ２１〜Ｄ２５）のデータが設定される。
【００７３】
上記の処理により、各補間決定区間に対する補間画素列が設定され、補正手段１４５にて補間ラインの周りの画素との調和を取りながら、補間画素列にて仮想補間パターンの画素に上書きすることでライン補間が実行される。
【００７４】
なお、補間ライン上の補間決定区間以外の画素は従来技術の補間方法で補間を行う。従来技術の補間方法とは、例えば、上下入力ラインの映像データの平均値で補間ラインを補う方法や上入力ラインの映像データで補間ラインを補う方法である。
【００７５】
図１０、図１１におけるＢ３２、Ｄ２６、Ｆ２０、Ｈ１４の部分は、コアリング部１１０におけるパターン編集や、補正手段１４５によってデータが設定されることになる。
【００７６】
さらに、本発明の第３の実施形態を図１２乃至図１３と共に説明する。
【００７７】
図１２は、本実施形態に係る画像の補間システムの構成を示すブロック図である。
【００７８】
同図において、１４６は一致補間方向確認部であり、第１の実施形態において必要としていた補間実行部１４０における一致画素列検索部１４１が一致補間方向確認部１４６に置き換わる。
【００７９】
図１３は、映像ラインと補間ライン上での各画素列の位置関係を説明するための図である。
【００８０】
次に、本実施形態に係る画像の補間システムの動作を図１２乃至図１３を用いて説明する。
【００８１】
一致補間方向確認部１４６は、仮想補間データベース１２０から得られる補間決定区間の補間すべき方向の情報に基づいて、検索条件設定部１４２に設定されている一致条件や検索範囲等の条件を基に、補間決定区間と同一ライン上の近接補間決定区間を抽出し、補間決定区間のエラー検出や補間区間の延長を行う。その結果、図１３に示すように、図１０に示す補間決定区間（−）４１〜４４（Ｂ２７〜Ｂ３１、Ｄ２１〜Ｄ２５、Ｆ１５〜Ｆ１９、Ｈ１０〜Ｈ１３）と比べて、延長された補間決定区間（−）４１’〜４４’（Ｂ２７〜Ｂ３２、Ｄ２１〜Ｄ２６、Ｆ１５〜Ｆ２０、Ｈ１０〜Ｈ１４）として示される。
【００８２】
なお、以降の本実施形態の動作は第２の実施形態と同様であるので説明を省略する。
【００８３】
また、上記の各実施形態においては、各処理においてる画素間演算時の画素データとして輝度データを使って説明しているが、原色データや色差データを用いることも可能である。
【００８４】
さらに、上記の各実施形態における各手段をハードで構成するのみならず、上記処理フローでソフト処理することでも当然可能であり、同様の結果が得られるものである。
【００８５】
上記の各実施形態の発明によれば、一般的に行われている画素単位によるライン補間に対し、補間すべき区間に隣接する入力映像ライン間から抽出された一致パターンを演算することにより得られるパターンでライン補間を行うので、水平に近い斜めエッジや紬線を滑らかに表現することが可能となる。
【００８６】
また、入力映像ライン間演算や各種コアリング処理を行い仮想補間パターンのデータベース化を行って補間区間の決定や補間実行時に参照することにより、誤判定を防止し正確な補間実行と、トータル的な演算処理の効率化を図ることにより、リアルタイムの補間処理を可能としている。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、速度処理を大幅削減し、リアルタイムの補間処理を可能とすると共に、フィールド画像においてライン間に映像の途切れが有る場合も隣接ライン上の一致画素列を基に補間実行することで、途切れの無い滑らかなフレーム映像を生成することができる。
【００８８】
本発明によれば、細線映像や映像エッジ部等を含む種々の映像の特に端部の状態を短時間でかつ、広範囲に検索し判定することができ、正確な補間処理と、画像端部を滑らかに表現することが可能となる。
【００８９】
本発明によれば、抽出された一致パターンの分布状態から該当区間の補間実行の要否と補間すべき方向を決定することで、細線映像や映像エッジ部の状態を正確に判定し、誤認の無い補間が可能となる。
【００９０】
本発明によれば、抽出された一致パターンの分布状態から該当区間の補間実行の要否と補間すべき方向を決定することで、類似パターンが多く混在する映像においても、細線映像や映像エッジ部の状態や位置を正確に判定し、誤認の無い補間が可能となる。
【００９１】
本発明によれば、仮想補間データは、入力面像の全ラインに渡って作成されるので、短時間で広範囲に検索し判定することができ、正確な補間処理が可能となる。
【００９２】
本発明によれば、仮想補間データは画素列を単位とするデータで構成されることで、画像端部の滑らかな処理と、演算処理の効率アップを可能となる。
【００９３】
本発明によれば、コアリング処理を行うことで、画像表示に影響の無い目立たない個所や判断しにくい個所等を削除または接続し、画質を維持しながら補間処理速度を大幅に改善することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像の補間システムの構成を示すブロック図である。
【図２】第１の実施形態を説明するための、入力映像の一例としての白い背景に黒い細線映像のフレーム映像が映し出されたモニタ画面を示す図である。
【図３】図２に示す拡大ポイント３の入力映像ラインおよび補間ラインを示す図である。
【図４】図１に示す仮想補間ラインパターン生成部１００において生成された仮想補間ラインパターンを示す図である。
【図５】図１に示す第１の一致パターン検索部１３１および一致パターン特定部１３４における一致パターン検索時の様子を説明する図である。
【図６】図１に示す方向ベクトル抽出部１３５および第２の一致パターン検索部１３６におけるベクトル検索時の様子を説明する図である。
【図７】図１に示す補間元画素列設定部１４３において設定された補間元画素列（＝一致画素列）６１〜６３，７１〜７３を示す図である。
【図８】図１に示す補間実行部１４０によって補間実行された画素列８１〜８４を示す図である。
【図９】第２の実施形態に係る画像の補間システムの構成を示すブロック図である。
【図１０】第２の実施形態を説明するための、映像ラインと補間ライン上での各画素列の位置関係を説明するための図である。
【図１１】第２の実施形態を説明するための、映像ラインと補間ライン上での各画素列の位置関係を説明するための図である。
【図１２】第３の実施形態に係る画像の補間システムの構成を示すブロック図である。
【図１３】第３の実施形態を説明するための、映像ラインと補間ライン上での各画素列の位置関係を説明するための図である。
【図１４】従来技術に係る画像の補間方法における映像ラインと補間ライン上での各画素列の位置関係を説明するための図である。
【図１５】従来技術に係る画像の補間方法における近傍画素列と対象画素列との相関を求める処理を説明するための図である。
【図１６】従来技術に係る画像の補間方法におけるその他の近傍画素列と対象画素列との相関を求める処理を説明するための図である。
【図１７】従来技術に係る画像の補間方法におけるエッジ箇所での補間を説明するための図である。
【符号の説明】
１００  仮想補間ラインパターン生成部
１０１  画素間輝度差分演算部
１０２  正規化部
１０３  パターン抽出部
１１０  コアリング処理部
１１１  パターン内輝度差分演算部
１１２  パターン編集判定部
１１３  パターン編集実行部
１２０  仮想補間データベース
１３０  補間区間決定部
１３１  第１の一致パターン検索部
１３２  一致パターン条件設定部
１３３  検索条件設定部
１３４  一致パターン特定部
１３５  方向ベクトル抽出部
１３６  第２の一致パターン検索部
１４０  補間実行部
１４１  一致画素列検索部
１４２  検索条件設定部
１４３  補間元画素列設定部
１４４  一致画素列演算部
１４５  補正手段
１４６  一致補間方向確認部
【図１】
0003614324.tif 000002
【図２】
0003614324.tif 000003
【図３】
0003614324.tif 000004
【図４】
0003614324.tif 000005
【図５】
0003614324.tif 000006
【図６】
0003614324.tif 000007
【図７】
0003614324.tif 000008
【図８】
0003614324.tif 000009
【図９】
0003614324.tif 000010
【図１０】
0003614324.tif 000011
【図１１】
0003614324.tif 000012
【図１２】
0003614324.tif 000013
【図１３】
0003614324.tif 000014
【図１４】
0003614324.tif 000015
【図１５】
0003614324.tif 000016
【図１６】
0003614324.tif 000017
【図１７】
0003614324.tif 000018