(57)【特許請求の範囲】
【請求項１】
インターレース入力画像信号に対して前記入力画像信号にない走査線を補間して前記入力画像信号を順次走査画像信号に変換する走査線補間装置において、
前記入力画像信号の動きベクトルを検出する動きベクトル検出回路と、
前記入力画像信号に対して前記動きベクトルに応じて動き補償を行う動き補償補間回路と、
前記入力画像信号に対してフィールド内補間を行うフィールド内補間回路と、
前記動きベクトル検出回路によって検出された動きベクトルが正確か否かを画素毎に判定して、混合係数を出力する補間選択判定回路と、
前記入力画像信号が時間−垂直−水平の３次元時空間周波数領域のどこに位置しているかを判定する時空間座標判定回路と、この時空間座標判定回路による判定結果と前記動きベクトルとに基づいて水平及び垂直方向双方のシフト量を発生するシフト量発生回路とを備え、前記動きベクトルの垂直方向の動き成分（走査線数／フィールド）が奇数の場合に、前記入力画像信号を前記水平及び垂直方向双方のシフト量に基づいて３次元補間処理を行う３次元補間回路と、
前記動き補償補間回路の出力信号と前記３次元補間回路の出力信号とを入力し、前記動きベクトルの垂直方向の動き成分が奇数の場合には前記３次元補間回路の出力信号を選択し、前記動きベクトルの垂直方向の動き成分が偶数の場合には前記動き補償補間回路の出力信号を選択して出力する選択回路と、
前記選択回路の出力信号と前記フィールド内補間回路の出力信号とを前記混合係数に応じて混合して出力する混合回路と、
前記入力画像信号と前記混合回路の出力信号とをそれぞれの信号の２倍の速度で交互に読み出して、順次走査信号に変換して出力する倍速変換回路とを備えて構成したことを特徴とする走査線補間装置。
【請求項２】
前記３次元補間回路は、
前記入力画像信号に対して時間的に前後するフィールドから画像のフレーム間差を検出するフレーム間差検出回路と、
前記入力画像信号に対して時間的に前後するフィールドから画像の垂直方向の信号変化の程度を検出する垂直勾配検出回路と、
前記入力画像信号に対して時間的に前後するフィールドから画像の水平方向の信号変化の程度を検出する水平勾配検出回路とを備え、
前記時空間座標判定回路は、前記フレーム間差検出回路と前記垂直勾配検出回路と前記水平勾配検出回路の各出力信号を比較することにより、入力画像信号が３次元時空間周波数領域のどの座標にいるかを判定するものであることを特徴とする請求項１に記載の走査線補間装置。
【請求項３】
前記３次元補間回路は、
前記入力画像信号の現フィールドの低域信号を取り出す垂直ＬＰＦと、
前記入力画像信号に対して時間的に前及び後のフィールドの高域信号を取り出す垂直ＨＰＦと、
前記シフト量発生回路が発生した前記シフト量に応じて、前記時間的に前及び後のフィールドの高域信号を空間的に上下左右にシフトさせる画像シフト回路と、
前記垂直ＬＰＦの出力信号と前記画像シフト回路の出力信号とを加算して走査線補間された出力信号を得る加算回路とを備えて構成したことを特徴とする請求項１または２に記載の走査線補間装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、走査線補間装置に係るものであり、特にインターレース画像信号を順次走査画像信号に変換する走査線補間装置に関する。
【０００２】
【従来の技術】
図４は走査線構造を示す図である。図４（ａ）に示す走査線構造は、ＮＴＳＣ、ハイビジョンなど標準的なテレビジョン画像信号として用いられているインターレース（飛び越し走査）信号であり、１つのフレームが時間（ｔ）と垂直方向（Ｖ）にずれた２つのフィールドで構成されており、画像の垂直方向の高い周波数成分が多くなると、ラインフリッカを生じるなどのインターレース妨害が存在する。
【０００３】
これに対して、図４（ｂ）に示す走査線構造は順次走査信号であり、プログレッシブ信号またはノンインターレース信号とも呼ばれており、垂直方向のずれがないので、インターレース妨害が存在しない。図４（ｃ）に示す走査線構造は、走査線補間を行った信号であり、インターレースで間引かれている部分の走査線×の画素を周辺の走査線○の画素で補間して作り、順次走査信号に変換することでインターレース妨害を除去する処理を行っている。このような処理方法は、順次走査変換や倍密変換と呼ばれる。
【０００４】
図５は従来例の走査線補間装置を示すブロック図である。これは、特開平６−１３３２８０号公報に記載されている動き補償による補間方法を用いた順次走査変換の従来例である。図５において、入力端子１から入力されたインターレース画像信号は、動きベクトル検出回路２，動き補償補間回路３，補間選択判定回路６，フィールド内補間回路７及び遅延補償回路９へ供給されている。動きベクトル検出回路２は、入力画像の動きベクトルＶを画像のブロック毎に検出し、動き補償補間回路３及び補間選択判定回路６へ供給している。
【０００５】
動きベクトルＶは、画像の水平方向の動き成分Ｖｘと、垂直方向の動き成分Ｖｙとの２つ成分を含んでいる。動き補償補間回路３は、入力信号に対して、動きベクトルＶ（Ｖｘ，Ｖｙ）に該当する前後フィールドの画素の平均値を新しい画素とする動き補償を行い、動き補償された出力信号を得て、混合回路８へ供給している。補間選択判定回路６は、動きベクトルＶが正確か否かを画素毎に判定し、混合係数Ｋｍを決定して、混合回路８へ供給している。
【０００６】
フィールド内補間回路７は、上下の走査線の平均値を新しい走査線とするフィールド内補間を行い、補間された出力信号を得て、混合回路８へ供給している。混合回路８は、動き補償補間回路３の出力信号と、フィールド内補間回路７の出力信号を、混合係数Ｋｍに従って混合し、補間信号を得て、倍速変換回路１０へ供給している。遅延補償回路９は、入力信号を補間信号生成の処理にかかる時間分だけ遅延補償し、現ライン信号を得て、倍速変換回路１０へ供給している。倍速変換回路１０は、現ライン信号と補間信号を、入力信号の２倍の速度で交互に読み出し、順次走査信号を得て、出力端子１１から出力している。
【０００７】
図６は従来例の動作を説明するための図である。図５に示す順次走査変換であれば、Ｖｘ＝０（画素／フィールド），Ｖｙ＝２（走査線／フィールド）で垂直方向に動いている画像の場合には、図６（ａ）に示すように、検出された動きベクトルＶ（０，２）に該当する前後フィールドの画素Ｃ′，Ｄ′の平均値を新しい画素Ｑとすることができる。以上で述べた順次走査変換の動作を時間−垂直の時空間スペクトル領域で説明する。
【０００８】
図６（ｂ）は、０〜ｆｓｖ／２のν成分を有する被写体が、図６（ａ）に示すようにＶｘ＝０，Ｖｙ＝２で垂直方向に動いている画像を表している。原点から左上方向に画像の原スペクトルが直線的に延びており、（ｆ，ν）＝（ｆｓｔ，０）の点からやはり左上方向にフィールドによる時間方向の標本化の折り返しスペクトルが延びている。（ｆ，ν）＝（±ｆｓｔ／２，ｆｓｖ／２）に存在するｘは、インターレース走査による時空間標本化のキャリアであり、それによる折り返し成分が各々のｘから右下方向に伸びている。このインターレースによる折り返しのスペクトルは図では破線で示されており、これがインターレース妨害の原因となる成分である。
【０００９】
図６（ｃ）は、検出される動きベクトルＶ（０，２）で動き補償を行った場合の周波数応答である。図の斜線で示した領域が、補間をフィルタとしてみたときの阻止域である。従って、斜線で示していない領域のスペクトルが順次走査変換後の順次走査画像信号のスペクトルになり、実線の原画像スペクトルは少しも損なわれず、破線の折り返しスペクトルは完全に除去される。即ち、動き補償補間を行えば、原画像成分はフル解像度で再現され、かつインターレース妨害は完全に除去される。図６ではＶｘ＝０，Ｖｙ＝２の画像を示したが、Ｖｘ＝ｎ，Ｖｙ＝２ｍ（ｎ，ｍは整数）であれば同様のことが成立する。
【００１０】
図６（ｄ）は 、フィールド内補間を行った場合の周波数応答である。フィールド内補間では、原スペクトルと折り返しスペクトルの分離ができず、原スペクトルの高域がカットされ、折り返しスペクトルの高域が時間高域に残留する。即ち、フィールド内補間では画像の解像度が劣化し、ラインフリッカは除去されない。
【００１１】
【発明が解決しようとする課題】
図７は従来例の動作を説明するための図である。動き補償補間ではＶｙ（走査線数／フィールド）が偶数の場合と奇数の場合では動作が異なる。例えばＶｘ＝０，Ｖｙ＝１の場合には、図７（ａ）に示すように、Ｖｘ＝０，Ｖｙ＝１に該当する前後フィールドの画素が存在しない。このことは、Ｖｘ＝０，Ｖｙ＝１に限定されるものではなくＶｘ＝ｎ，Ｖｙ＝２ｍ＋１（ｎ，ｍは整数）であれば成立する。このように、Ｖｙ（走査線数／フィールド）が奇数の動きを示す画像では、動き補償は行えないので、Ｖｙが偶数の動きベクトルのみを検出するように動きベクトル検出回路に制限を設けなければならない。
【００１２】
しかし、動きベクトル検出においてＶｙを偶数に制限することは、すべての可能性を検証していないわけであるから、動きベクトルの検出精度の低下を招くことになる。また、Ｖｙ＝１の場合、前フィールドの画素Ｃ、Ｃ′の平均値をＶｙ＝１に該当する仮想的な画素として動き補償を行っても、Ｖｙ＝１のときＣ＝Ａ，Ｃ′＝Ｂであるから、フィールド内補間と等価の補間を行っていることになる。
【００１３】
このことは、時間−垂直の時空間スペクトル領域でも説明することができる。図７（ｂ）は、０〜ｆｓｖ／２のν成分を有する被写体がＶｙ＝１で垂直方向に動いている画像を表している。Ｖｙ＝１の場合には、原スペクトルと折り返しスペクトルがｆ−ν領域上で完全に重なっている。図７（ｃ）は、動き補償補間の周波数応答を示しており、図７（ｄ）はフィールド内補間の周波数応答を示している。いずれの図においても、原スペクトルと折り返しスペクトルの分離ができず、原スペクトルの高域がカットされるので、動き補償補間でも画像の解像度劣化は防げない。なお、折り返しスペクトルの高域が残留しているが、時間低域なのでラインフリッカは目立たない。
【００１４】
以上で説明したように、Ｖｙ（走査線数／フィールド）が奇数の動きを示す画像では、動き補償補間は行えないか、動き補償補間を行ったとしてもフィールド内補間と等価であり、解像度の劣化した順次走査信号しか得られないという問題点があった。
本発明は、前記課題を解決するためになされたものであり、動きベクトル検出に特殊な制限を設けなくてもよく、原理的にも補間信号を得ることが困難な垂直方向の動き成分（走査線数／フィールド）が奇数の画像に対しても、高解像度な順次走査信号を得ることができる走査線補間装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
以上の目的を達成するために、インターレース入力画像信号に対して前記入力画像信号にない走査線を補間して前記入力画像信号を順次走査画像信号に変換する走査線補間装置において、前記入力画像信号の動きベクトルを検出する動きベクトル検出回路と、前記入力画像信号に対して前記動きベクトルに応じて動き補償を行う動き補償補間回路と、前記入力画像信号に対してフィールド内補間を行うフィールド内補間回路と、前記動きベクトル検出回路によって検出された動きベクトルが正確か否かを画素毎に判定して、混合係数を出力する補間選択判定回路と、前記入力画像信号が時間−垂直−水平の３次元時空間周波数領域のどこに位置しているかを判定する時空間座標判定回路と、この時空間座標判定回路による判定結果と前記動きベクトルとに基づいて水平及び垂直方向双方のシフト量を発生するシフト量発生回路とを備え、前記動きベクトルの垂直方向の動き成分（走査線数／フィールド）が奇数の場合に、前記入力画像信号を前記水平及び垂直方向双方のシフト量に基づいて３次元補間処理を行う３次元補間回路と、前記動き補償補間回路の出力信号と前記３次元補間回路の出力信号とを入力し、前記動きベクトルの垂直方向の動き成分が奇数の場合には前記３次元補間回路の出力信号を選択し、前記動きベクトルの垂直方向の動き成分が偶数の場合には前記動き補償補間回路の出力信号を選択して出力する選択回路と、前記選択回路の出力信号と前記フィールド内補間回路の出力信号とを前記混合係数に応じて混合して出力する混合回路と、前記入力画像信号と前記混合回路の出力信号とをそれぞれの信号の２倍の速度で交互に読み出して、順次走査信号に変換して出力する倍速変換回路とを備えて構成したことを特徴とする走査線補間装置を提供するものである。
【００１６】
【発明の実施の形態】
図１は本発明の実施例を示すブロック図である。図１において、入力端子１から入力されたインターレース画像信号は、動きベクトル検出回路２，動き補償補間回路３，３次元補間回路４,補間選択判定回路６，フィールド内補間回路７及び遅延補償回路９へ供給されている。動きベクトル検出回路２は、入力画像の動きベクトルＶ（Ｖｘ，Ｖｙ）を画像のブロック毎に検出し、動き補償補間回路３及び補間選択判定回路６へ供給している。
【００１７】
動きベクトルＶは、画像の水平方向の動き成分Ｖｘと、垂直方向の動き成分Ｖｙとの２つ成分を含んでいる。動き補償補間回路３は、入力信号に対して、動きベクトルＶ（Ｖｘ，Ｖｙ）に該当する前後フィールドの画素の平均値を新しい画素とする動き補償を行い、動き補償された出力信号を得て、選択回路５へ供給している。３次元補間回路４は、動きベクトルＶの垂直方向の動き成分Ｖｙ（走査線数／フィールド）が奇数の場合に、後述する方法で補間を行い、その出力信号を選択回路５へ供給している。選択回路５は、動きベクトルＶの垂直方向の動き成分Ｖｙ（走査線数／フィールド）が偶数の場合には動き補償補間回路３の出力信号を選択し、動きベクトルＶの垂直方向の動き成分Ｖｙ（走査線数／フィールド）が奇数の場合には３次元補間回路４の出力信号を選択し、混合回路８へ供給している。補間選択判定回路６は、動きベクトルＶが正確か否かを画素毎に判定し、混合係数Ｋｍを決定して、混合回路８へ供給している。
【００１８】
フィールド内補間回路７は、上下の走査線の平均値を新しい走査線とするフィールド内補間を行い、補間された出力信号を得て、混合回路８へ供給している。混合回路８は、選択回路５の出力信号と、フィールド内補間回路７の出力信号を、混合係数Ｋｍに従って混合し、補間信号を得て、倍速変換回路１０へ供給している。遅延補償回路９は、入力信号を補間信号生成の処理にかかる時間分だけ遅延補償し、現ライン信号を得て、倍速変換回路１０へ供給している。倍速変換回路１０は、現ライン信号と補間信号を、入力信号の２倍の速度で交互に読み出し、順次走査信号を得て、出力端子１１から出力している。
【００１９】
図２は図１中の３次元補間回路４の実施例を示すブロック図である。図２において、入力端子２１から入力されたインターレース画像信号は、フィールド遅延回路２２，垂直ＨＰＦ２３,フレーム間差検出回路２４，垂直勾配検出回路２５及び水平勾配検出回路２６へ供給されている。フィールド遅延回路２２は、入力信号を１フィールド分の時間だけ遅延させた信号を得て、フィールド遅延回路２７及び垂直ＬＰＦ２８へ供給している。フィールド遅延回路２７は、さらに入力信号を１フィールド分の時間だけ遅延させた信号を得て、垂直ＨＰＦ２９へ供給している。従って、垂直ＨＰＦ２３，垂直ＬＰＦ２８及び垂直ＨＰＦ２９には、それぞれ１フィールドずつ異なった信号が供給されることになる。
【００２０】
垂直ＬＰＦ２８は、垂直方向の低域通過フィルタであり、被補間フィールドである現フィールドの低域信号を取り出し、加算回路３６へ供給している。同様に、垂直ＨＰＦ２３は、垂直方向の高域通過フィルタであり、被補間フィールドである現フィールドに対して後ろのフィールドの高域信号を取り出し、画像シフト回路３０へ供給している。同様に、垂直ＨＰＦ２９は、被補間フィールドである現フィールドに対して前のフィールドの高域信号を取り出し、画像シフト回路３１へ供給している。
【００２１】
フレーム間差検出回路２４は、入力端子３２から供給される動きベクトルＶに応じたフレーム間差を検出し、時空間座標判定回路３３へ供給している。垂直勾配検出回路２５は、垂直方向の信号変化の程度を検出し、時空間座標判定回路３３へ供給している。水平勾配検出回路２６は水平方向の信号変化の程度を検出し、時空間座標判定回路３３へ供給している。時空間座標判定回路３３は、フレーム間差検出回路２４，垂直勾配検出回路２５及び水平勾配検出回路２６の各出力信号を比較することで、入力画像が３次元周波数領域のどの座標にいるかを判定し、判定結果を得て、シフト量発生回路３４へ供給している。シフト量発生回路３４は時空間座標判定回路３３の判定結果と動きベクトルＶに応じて、画像シフト回路３０及び画像シフト回路３１のシフト量Ｓを決定している。シフト量Ｓは、画像の水平方向のシフト量Ｓｘと、垂直方向のシフト量Ｓｙとの２つの成分からなる。
【００２２】
画像シフト回路３０及び画像シフト回路３１は、シフト量発生回路３４から供給されるシフト量Ｓに応じて、入力画像を空間的に移動させ、その出力をそれぞれ加算回路３５へ供給している。画像シフト回路３０で空間的に移動されるフィールドと、画像シフト回路３１で空間的に移動されるフィールドとは、被補間フィールドである現フィールドからみて時間関係が逆なので移動方向も逆にする。加算回路３５は、空間的に移動された前後フィールドの高域信号を加算し、加算回路３６へ供給している。加算回路３６は、垂直ＬＰＦ２８で得られた現フィールドの低域信号に、空間的に移動された前後フィールドの高域信号を加算し、出力端子３７から出力している。
【００２３】
図３は本発明の動作を説明するための図であり、本発明による順次走査変換の動作を時間−垂直−水平の３次元時空間スペクトル領域で説明する。図３（ａ）は、図７（ａ）と同様にＶｘ＝０，Ｖｙ＝１で垂直方向に動いている画像を時間−垂直−水平の３次元時空間周波数領域で示した図であり、図３（ａ）をｆ−ν平面に射影すると図７（ｂ）となる。図３（ａ）のμ軸に接する平面は、Ｖｘ＝０，Ｖｙ＝１で垂直方向に動いている画像の原スペクトルであると同時に、（ｆ，ν，ｔ）＝（±ｆｓｔ／２，ｆｓｖ／２，０）に存在するインターレース走査による時空間標本化のキャリアｘから延びる折り返しのスペクトルでもある。
【００２４】
図７（ｂ）に示したように、ｆ−ν領域上では完全に重なってしまう原スペクトルと折り返しスペクトルも、図３（ａ）のようにｆ−ν−μ領域で考えれば重ならないスペクトルが存在することが分かる。例えば、原点から右上方向に延びる実線は、Ｖｙ＝１で垂直方向に動いている画像のうち、左上がりの斜めエッジ成分のスペクトルであり、ｘから左下に延びる破線で示した折り返しのスペクトルとは全く重ならないことが分かる。
【００２５】
Ｖｙ（走査線数／フィールド）が奇数のとき、動きベクトルＶ（Ｖｘ，Ｖｙ）を用いて動き補償を行っても、原スペクトルと折り返しスペクトルの分離ができないことは図７で説明した。図３（ｂ）は、Ｖｘ＝０，Ｖｙ＝１で垂直方向に動いている画像に対しての３次元周波数応答を示している。図の立方体の領域が補間をフィルタとしてみたときの通過域であり、この立方体の領域内に含まれない斜線部分平面が順次走査変換で除去されるスペクトルである。図３（ｂ）をｆ−ν平面に射影すると図７（ｃ）になる。
【００２６】
図３（ｃ）は、本発明の補間方法の３次元周波数応答を示している。本発明の補間方法では、同一の平面上でも時空間座標の違いにより補間フィルタの通過帯域を可変することができるので、実線の原スペクトルの高域がカットされるのを改善することができ、画像の解像度劣化を改善することができる。
以上説明の如く、本発明の走査線補間装置は、垂直方向の動き成分（走査線数／フィールド）が奇数の画像を含むインターレース映像信号に対して、高解像度な順次走査信号を得ることができる。
なお、図１に示した本発明の実施例では、動き補償補間と組み合わせた場合について説明したが、本発明の特徴である３次元補間回路４はＶｙ（走査線数／フィールド）が奇数の動きのときのみ動作すればよいので、動き補償補間以外の走査線補間と組み合わせてもよいことは勿論である。
【００２７】
【発明の効果】
本発明の走査線補間装置は、動きベクトル検出に特殊な制限を設けなくてもよく、原理的にも補間信号を得ることが困難な垂直方向の動き成分（走査線数／フィールド）が奇数の画像に対しても、高解像度な順次走査信号を得ることができるという極めて優れた効果がある。
【図面の簡単な説明】
【図１】  本発明の実施例を示すブロック図である。
【図２】  図１中の３次元補間回路４の実施例を示すブロック図である。
【図３】  本発明の動作を説明するための図である。
【図４】  走査線構造を示す図である。
【図５】  従来例を示すブロック図である。
【図６】  従来例の動作を説明するための図である。
【図７】  従来例の動作を説明するための図である。
【符号の説明】
１，２１，３２  入力端子
２  動きベクトル検出回路
３  動き補償補間回路
４  ３次元補間回路
５  選択回路
６  補間選択判定回路
７  フィールド内補間回路
８  混合回路
９  遅延補償回路
１０  倍速変換回路
１１,３７  出力端子
２２,２７  フィールド遅延回路
２３，２９  垂直ＨＰＦ
２４  フレーム間差検出回路
２５  垂直勾配検出回路
２６  水平勾配検出回路
２８  垂直ＬＰＦ
３０，３１  画像シフト回路
３３  時空間座標判定回路
３４  シフト量発生回路
３５，３６  加算回路
【図１】
0003721941.tif 000002
【図２】
0003721941.tif 000003
【図３】
0003721941.tif 000004
【図４】
0003721941.tif 000005
【図５】
0003721941.tif 000006
【図６】
0003721941.tif 000007
【図７】
0003721941.tif 000008