(57)【特許請求の範囲】
【請求項１】
入力された画像信号の走査線を補間する走査線補間回路において、
被補間フィールドである現フィールドの空間的に上下に位置する走査線よりフィールド内補間信号を生成するフィールド内補間手段と、
前記現フィールドの垂直方向に低い周波数成分である現フィールド低域信号を生成する現フィールド低域信号生成手段と、
前記現フィールドに対して時間的に後の垂直方向に高い周波数成分である後フィールド高域信号を生成する後フィールド高域信号生成手段と、
前記現フィールドに対して時間的に前の垂直方向に高い周波数成分である前フィールド高域信号を生成する前フィールド高域信号生成手段と、
前記現フィールドに対して時間的に前後するフィールドから画像の動き方向と動き量とを検出する動き方向検出手段と、
前記動き方向検出手段によって検出された動き方向に従って、前記後フィールド高域信号をシフトする第１のシフト手段と、
前記動き方向検出手段によって検出された動き方向に従って、前記前フィールド高域信号をシフトする第２のシフト手段と、
前記第１及び第２のシフト手段によってシフトされた前記後フィールド高域信号及び前記前フィールド高域信号と、前記現フィールド低域信号とを加算して時空間補間信号を生成する時空間補間信号生成手段と、
前記動き方向検出手段によって検出された動き量に従って、前記フィールド内補間信号と前記時空間補間信号とを適応混合する適応混合手段とを備えて構成したことを特徴とする走査線補間回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インタレース画像をプログレッシブ画像に変換する際等に用いられる走査線補間回路に関する。
【０００２】
【従来の技術】
ＮＴＳＣ信号やハイビジョン信号等の標準的なテレビジョン信号はインタレース（飛び越し走査）信号である。図５は走査線構造を示す図であり、（ａ）はインタレース信号、（ｂ）はプログレッシブ（順次走査）信号、（ｃ）は走査線補間によってインタレース信号をプログレッシブ信号に変換した信号を示している。なお、プログレッシブ信号はノンインタレース信号と称されることもある。図５中の○は走査線を示し、×は補間された走査線を示している。
【０００３】
この図５において、垂直方向Ｖは画面の垂直方向であり、水平方向ｔは時間方向である。インタレース信号は、図５（ａ）に示すように、１つのフレームが時間及び垂直方向にずれた２つのフィールドで構成される。これに対し、プログレッシブ信号は、図５（ｂ）に示すように、走査線構造にずれがない。インタレース信号においては、画像の垂直方向の高い周波数成分が多くなると、ラインフリッカを生じる等のインタレース妨害が存在する。一方、プログレッシブ信号では、インタレース妨害は存在しない。
【０００４】
そこで、図５（ｃ）に示すように、インタレースで間引かれている部分の走査線を周辺の走査線で補間し、プログレッシブ信号に変換することによって、インタレース妨害を除去する処理方法がある。このような処理方法は、順次走査変換もしくは倍密変換と称される。
【０００５】
従来においては、順次走査変換や倍密変換のための走査線補間は、動き適応処理で行われる。即ち、図６に示すように、画像が静止している場合は、前後フィールドの画素Ａ，Ｂの平均値を×で示す新しい画素Ｑとするフィールド間補間を行うことによって、新しい走査線を生成する。画像が動いている場合は、上下の画素Ｃ，Ｄの平均値を×で示す新しい画素Ｑとするフィールド内補間を行うことによって、新しい走査線を生成する。
【０００６】
【発明が解決しようとする課題】
ところで、フィールド間補間やフィールド内補間による順次走査変換は、入力信号に対する時間−垂直領域における時空間のフィルタとみなすことができ、フィールド間補間は時間ローパスフィルタ（以下、ローパスフィルタをＬＰＦと略記する）、フィールド内補間は垂直ＬＰＦの特性を持つ。
【０００７】
図７（ａ）は時間周波数ｆ−垂直空間周波数νに関する静止画像のスペクトルを示したものである。静止画像では、図７（ａ）に示すように、画像のスペクトルはｆ＝０の軸上にしか存在しない。なお、ｆ＝６０，−６０（Ｈｚ）に存在する●を中心に広がるスペクトルは、偶数次の高調波スペクトルである。静止画像の場合の補間処理であるフィールド間補間の阻止域は、図７（ａ）に斜線を付した部分で示され、斜線を付していない領域のスペクトルが順次走査変換後の出力信号となる。
【０００８】
従って、静止画像では、フィールド間補間を行うことによって、偶数次の高調波スペクトルを含む原スペクトルを損なうことなく、インタレース妨害となる破線で示すｆ＝３０，−３０（Ｈｚ）に存在する×を中心に広がる奇数次の高調波スペクトルのみを除去することができる。これによって、画質劣化のないプログレッシブ信号を得ることができる。
【０００９】
一方、図７（ｂ）は時間周波数ｆ−垂直空間周波数νに関する動画像のスペクトルを示したものである。一般的には、動画像は、図７（ｂ）に示すように、フィールド間相関が小さく、画像のスペクトルが時間高域にまで広がっていることが多い。動画像に対してはフィールド間補間を用いることができない理由は、このことから説明できる。即ち、フィールド間補間では、動画像の大きな特徴である時間高域のスペクトルを除去してしまうことになるからである。
【００１０】
そこで、動画像では時間高域のスペクトルを除去しないような、図７（ｂ）に斜線を付した部分で示される阻止域の特性を持つ垂直フィルタ、即ち、フィールド内補間でなければならない。しかし、フィールド内補間による固定的な垂直ＬＰＦでは、時間高域のスペクトルは保存されるが、原スペクトルの一部が欠落し、奇数次の高調波スペクトルが完全に除去されない。そのため、従来の走査線補間回路による動き適応処理においては、動き部分では解像度が劣化し、ラインフリッカやジャギ等のインタレース妨害が完全には除去されない。
【００１１】
本発明はこのような問題点に鑑みなされたものであり、走査線補間するに際して画像に動き部分が存在しても、解像度の劣化やインタレース妨害が発生することなく、高画質な走査線補間画像を得ることができる走査線補間回路を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上述した従来の技術の課題を解決するため、入力された画像信号の走査線を補間する走査線補間回路において、被補間フィールドである現フィールドの空間的に上下に位置する走査線よりフィールド内補間信号を生成するフィールド内補間手段（５）と、前記現フィールドの垂直方向に低い周波数成分である現フィールド低域信号を生成する現フィールド低域信号生成手段（７）と、前記現フィールドに対して時間的に後の垂直方向に高い周波数成分である後フィールド高域信号を生成する後フィールド高域信号生成手段（３）と、前記現フィールドに対して時間的に前の垂直方向に高い周波数成分である前フィールド高域信号を生成する前フィールド高域信号生成手段（８）と、前記現フィールドに対して時間的に前後するフィールドから画像の動き方向と動き量とを検出する動き方向検出手段（４）と、前記動き方向検出手段によって検出された動き方向に従って、前記後フィールド高域信号をシフトする第１のシフト手段（９）と、前記動き方向検出手段によって検出された動き方向に従って、前記前フィールド高域信号をシフトする第２のシフト手段（１０）と、前記第１及び第２のシフト手段によってシフトされた前記後フィールド高域信号及び前記前フィールド高域信号と、前記現フィールド低域信号とを加算して時空間補間信号を生成する時空間補間信号生成手段（１３，１４）と、前記動き方向検出手段によって検出された動き量に従って、前記フィールド内補間信号と前記時空間補間信号とを適応混合する適応混合手段（１１，１２，１５）とを備えて構成したことを特徴とする走査線補間回路を提供するものである。
【００１３】
【発明の実施の形態】
以下、本発明の走査線補間回路について、添付図面を参照して説明する。図１は本発明の走査線補間回路の一実施例を示すブロック図、図２は図１中の動き方向検出器４の具体的構成の一例を示すブロック図、図３は本発明の走査線補間回路を動き適応補間装置に応用した例を示すブロック図、図４は本発明の走査線補間回路を順次走査変換装置に応用した例を示すブロック図、図８は本発明の走査線補間回路を説明するための画像スペクトルを示す図である。
【００１４】
まず、図８を用いて、本発明の走査線補間回路の原理について説明する。画像が垂直方向や水平方向に平行移動しているときの画像のスペクトルは、方向性を伴って広がるという特徴を持つ。例えば、画像を水平方向の動き速度Ｖｘ＝０、垂直方向の動き速度Ｖｙ＝２（走査線／フィールド）で等速移動させた場合、図８に示すように、画像のスペクトルはｆ−ν平面上の太実線で示す決まった直線上にのみ存在する。
【００１５】
そこで、本発明では、現フィールドに対して時間的に前後するフィールドから画像の動き方向と動き量とを検出する。これによって、複数の特徴的な画像のスペクトルをそれぞれ区別することが可能となる。また、検出された動き方向に基づき、前及び後フィールド高域信号を空間的に上下左右にシフトさせ、現フィールド低域信号に加算して時空間補間信号を得る。これによって、それぞれの特徴的な画像のスペクトルに最適な周波数特性を持つ補間処理を施すことが可能となる。
【００１６】
例えば、図８に示すスペクトルを持つ画像に対しては、図８に斜線を付した（黒く塗りつぶした）部分が阻止域となる時空間補間を行うようにすることによって、画質劣化のないプログレッシブ信号を得ることができる。
【００１７】
ここで、本発明の走査線補間回路の構成及び動作について具体的に説明する。図１において、入力端子１より入力されたインタレース画像信号は、フィールド遅延器２，垂直ハイパスフィルタ（以下、ハイパスフィルタをＨＰＦを略記する）３，動き方向検出部４に入力される。
【００１８】
フィールド遅延器２は入力された画像信号を１フィールド分の時間だけ遅延し、その遅延した画像信号をフィールド内補間器５とフィールド遅延器６と垂直ＬＰＦ７に入力する。フィールド遅延器６は入力された画像信号を１フィールド分の時間だけ遅延し、その遅延した画像信号を動き方向検出部４と垂直ＨＰＦ８に入力する。従って、垂直ＨＰＦ３と、フィールド内補間器５及び垂直ＬＰＦ７と、垂直ＨＰＦ８には、それぞれ１フィールドずつ異なった画像信号が入力されることになる。なお、フィールド遅延器２より出力された画像信号を現フィールドとする。
【００１９】
垂直ＨＰＦ３は、被補間フィールドである現フィールドに対して時間的に後のフィールドの高域信号を取り出し、画像シフト器９に入力する。同様に、垂直ＨＰＦ８は、被補間フィールドである現フィールドに対して時間的に前のフィールドの高域信号を取り出し、画像シフト器１０に入力する。即ち、垂直ＨＰＦ３は、現フィールドに対して時間的に後の垂直方向に高い周波数成分である後フィールド高域信号を生成する後フィールド高域信号生成手段であり、垂直ＨＰＦ８は、現フィールドに対して時間的に前の垂直方向に高い周波数成分である前フィールド高域信号を生成する前フィールド高域信号生成手段である。
【００２０】
動き方向検出部４は、後述するような構成及び方法によって、２フィールド（１フレーム）間の画像の動き方向を示す値（以下、動き方向値）ｓと、画像の動き量を示す値（動き量値）ｋとを求め、画像の動き方向値ｓを画像シフト器９及び画像シフト器１０に入力し、画像の動き量値ｋを乗算器１１及び乗算器１２に入力する。即ち、動き方向検出部４は、現フィールドに対して時間的に前後するフィールドから画像の動き方向と動き量とを検出する動き方向検出手段である。
【００２１】
画像シフト器９及び画像シフト器１０は、動き方向値ｓに従って入力された高域信号を空間的に移動させ、加算器１３に入力する。なお、画像シフト器９で空間的に移動するフィールドと、画像シフト器１０で空間的に移動するフィールドとは、被補間フィールドである現フィールドから見て時間関係が逆なので移動方向も逆にする。加算器１３は、空間的に移動された前後フィールドの高域信号を加算し、加算器１４に入力する。
【００２２】
垂直ＬＰＦ７は現フィールドの低域信号を取り出し、加算器１４に入力する。なお、垂直ＬＰＦ７は、現フィールドの垂直方向に低い周波数成分である現フィールド低域信号を生成する現フィールド低域信号生成手段である。加算器１４は加算器１３より入力された前後フィールドの高域信号の加算結果と垂直ＬＰＦ７より入力された現フィールドの低域信号とを加算し、時空間補間信号を生成する。即ち、加算器１３と加算器１４は、後フィールド高域信号及び前フィールド高域信号と現フィールド低域信号とを加算して時空間補間信号を生成する時空間補間信号生成手段である。この時空間補間信号は、乗算器１１に入力される。
【００２３】
さらに、フィールド内補間器５は、被補間走査線の空間的に上下に位置する走査線を加算し、フィールド内補間信号を生成する。フィールド内補間器５においては、上記の時空間補間信号を生成する際に生じた遅延分と同等の遅延がなされ、時空間補間信号と同期したフィールド内補間信号が乗算器１２に入力される。
【００２４】
上記のように、乗算器１１と乗算器１２には動き方向検出部４から動き量値ｋが入力されている。乗算器１１は入力された時空間補間信号に（１−ｋ）を乗じ、乗算器１２は入力されたフィールド内補間信号にｋを乗じ、それぞれの乗算結果を加算器１５に入力する。加算器１５は、動き量値ｋによって重み付けされた時空間補間信号及びフィールド内補間信号を加算し、最終的な補間信号を出力端子１６より出力する。なお、乗算器１１，１２及び加算器１５は、動き方向検出手部４によって検出された動き量値ｋに従って、フィールド内補間信号と時空間補間信号とを適応混合する適応混合手段である。
【００２５】
次に、図１中の動き方向検出部４の詳細な構成及び動作について説明する。図２において、入力されたインタレース画像信号は画像シフト器１７に入力され、フィールド遅延器６より出力された画像信号は画像シフト器１８に入力される。画像シフト設定器１９は、予め設定されている探索範囲に応じて画像シフト値を順次発生し、画像シフト器１７と画像シフト器１８と動き方向判定器２３に入力する。なお、探索範囲とは、画像信号の動き方向及び動き量を検出するために、入力信号をシフトする範囲を意味する。
【００２６】
例えば、探索範囲を垂直方向に走査線単位で±１、水平方向に画素単位で±２とすると、画像シフト設定器１９は、３×５（垂直×水平）で１５個の画像シフト値を順次発生することになる。画像シフト器１７と画像シフト器１８は、その画像シフト値に従って入力された画像信号を空間的に移動させ、減算器２０に入力する。なお、画像シフト器１７で空間的に移動されるフィールドと、画像シフト器１８で空間的に移動されるフィールドとは、被補間フィールドである現フィールドから見て時間関係が逆なので移動方向も逆にする。
【００２７】
減算器２０は、画像シフト器１７の出力と画像シフト器１８の出力とを減算することによってフレーム間差をとり、その差信号（フレーム間差分値）を絶対値化器２１に入力する。絶対値化器２１は入力されたフレーム間差分値を絶対値化し、空間ＬＰＦ２２に入力する。空間ＬＰＦ２２は、絶対値化されたフレーム間差分値に空間的なローパスフィルタをかけることによって空間的な変化をスムージングし、動き方向判定器２３に入力する。上記のように、動き方向判定器２３には画像シフト設定器１９より各画像シフト値が入力されており、動き方向判定器２３は、空間ＬＰＦ２２より入力される各画像シフト値のフレーム間差分値を比較する。
【００２８】
動き方向判定器２３は、フレーム間差分値の比較の結果、フレーム間差分値が最小値となる画像シフト値を画像の動き方向値ｓとして出力端子２４に出力する。この動き方向値ｓは、上記のように、図１中の画像シフト器９，１０に入力される。また、動き方向判定器２３は、最小値のフレーム間差分値を非線形変換器２５に入力する。非線形変換器２５は、入力されたフレーム間差分値を非線形変換し、画像の動き量値ｋとして出力する。即ち、入力されたフレーム間差分値がノイズレベル以下の場合を０とし、所定のレベル以上の場合を１とし、その間を線形に変換する。
【００２９】
この所定のレベルは、図１中のフィールド内補間器５により得たフィールド内補間信号の方が、明らかに加算器１４までの処理によって得た時空間補間信号よりも適正であるとするレベルに設定する。このようにして得られた動き量値ｋは、出力端子２６より出力される。この動き量値ｋは、上記のように、図１中の乗算器１１，１２に入力される。
【００３０】
本発明の走査線補間回路は以上のように構成される。そして、本発明の走査線補間回路は、図３に示すように、動き適応補間装置の走査線補間回路として、また、図４に示すように、順次走査線変換装置の走査線補間回路として用いられる。
【００３１】
まず、図３において、入力端子１より入力された画像信号は、走査線補間回路３０，フィールド間補間器３１，動き検出器３３に入力される。走査線補間回路３０は、図１に示す本発明による走査線補間回路である。走査線補間回路３０は動き用補間信号を生成し、適応混合器３２に入力する。フィールド間補間器３１は、図６で説明したように、被補間フィールドの時間的に前後フィールドの画素Ａ，Ｂの平均値を静止用補間信号として生成し、適応混合器３２に入力する。動き検出器３３は画像の動きを検出する。適応混合器３２は、動き検出器３３により検出された動きの大きさに応じて動き用補間信号と静止用補間信号とを適応混合し、最終的な補間信号を出力端子３４より出力する。
【００３２】
次に、図４において、入力されたインタレース画像信号は、走査線補間回路４０とフィールド遅延器４１に入力される。走査線補間回路４０は、図１に示す本発明による走査線補間回路である。走査線補間回路４０により生成された補間信号はラインバッファ４２に入力される。フィールド遅延器４１は入力された画像信号に対して走査線補間回路４０により生じた遅延分と同等の遅延をし、ラインバッファ４３に入力する。ラインバッファ４２とラインバッファ４３は１ライン分の信号を保持し、入力信号の２倍の速度で読み出す。ラインバッファ４２，４３の出力はスイッチ４４に入力され、このスイッチ４４で交互に選択されることによって順次走査信号となり、出力端子４５より出力される。
【００３３】
以上のようにして、本発明の走査線補間回路は、画像の動き方向と大きさを検出し、そのときの画像のスペクトルに最適な時空間補間フィルタの特性に変化させることができるので、順次走査変換や倍密変換等の走査線補間に際し、解像度が劣化することなく、また、ラインフリッカやジャギ等のインタレース妨害も発生しない。
【００３４】
【発明の効果】
以上詳細に説明したように、本発明の走査線補間回路は、被補間フィールドである現フィールドの空間的に上下に位置する走査線よりフィールド内補間信号を生成するフィールド内補間手段と、現フィールドの垂直方向に低い周波数成分である現フィールド低域信号を生成する現フィールド低域信号生成手段と、現フィールドに対して時間的に後の垂直方向に高い周波数成分である後フィールド高域信号を生成する後フィールド高域信号生成手段と、現フィールドに対して時間的に前の垂直方向に高い周波数成分である前フィールド高域信号を生成する前フィールド高域信号生成手段と、現フィールドに対して時間的に前後するフィールドから画像の動き方向と動き量とを検出する動き方向検出手段と、動き方向検出手段によって検出された動き方向に従って、後フィールド高域信号をシフトする第１のシフト手段と、動き方向検出手段によって検出された動き方向に従って、前フィールド高域信号をシフトする第２のシフト手段と、第１及び第２のシフト手段によってシフトされた後フィールド高域信号及び前フィールド高域信号と、現フィールド低域信号とを加算して時空間補間信号を生成する時空間補間信号生成手段と、動き方向検出手段によって検出された動き量に従って、フィールド内補間信号と時空間補間信号とを適応混合する適応混合手段とを備えて構成したので、走査線補間するに際して画像に動き部分が存在しても、解像度の劣化やインタレース妨害が発生することなく、高画質な走査線補間画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図である。
【図２】図１中の動き方向検出器４の具体的構成の一例を示すブロック図である。
【図３】本発明を動き適応補間装置に応用した例を示すブロック図である。
【図４】本発明を順次走査変換装置に応用した例を示すブロック図である。
【図５】各種走査線構造を示す図である。
【図６】フィールド間補間及びフィールド内補間を示す図である。
【図７】従来の問題点を説明するためのフィールド間補間及びフィールド内補間の画像のスペクトルを示す図である。
【図８】本発明を説明するための画像スペクトルを示す図である。
【符号の説明】
２，６  フィールド遅延器
３，８  垂直ハイパスフィルタ
４  動き方向検出部
５  フィールド内補間器
７  垂直ローパスフィルタ
９，１０  画像シフト器
１１，１２  乗算器
１３，１４，１５  加算器
【図１】
0003546698.tif 000002
【図２】
0003546698.tif 000003
【図３】
0003546698.tif 000004
【図４】
0003546698.tif 000005
【図５】
0003546698.tif 000006
【図６】
0003546698.tif 000007
【図７】
0003546698.tif 000008
【図８】
0003546698.tif 000009