(57)【要約】【課題】  画像を好適に高解像度化する。【解決手段】  所定の拡大率で画素数変換された画像信号からなる映像信号を入力し、前記入力された画像信号を用いて画素数変換前後の画像信号のサンプリング周波数を算出し、前記画素数変換前後のサンプリング周波数の比から前記所定の拡大率を判定し、前記入力された画素数変換後の画像信号から画素数変換前の画像信号のサンプリング位相を算出し、前記画素数変換前のサンプリング周波数と前記画素数変換前のサンプリング位相とから画素数変換前の画像信号のサンプリングキャリアを生成し、前記所定の拡大率を用いて前記入力映像信号から折返し成分を除去または低減した原成分信号を生成し、前記映像信号に含まれる折返し成分と前記画素数変換前のサンプリングキャリアとから高域成分信号を生成し、前記原成分信号と前記高域成分信号とから高解像画像信号を生成する。【選択図】図２２
2010062882.tif 000002
【特許請求の範囲】
【請求項１】
予め所定の拡大率で画素数変換された画像信号が入力される入力部と、
前記入力された画素数変換後の画像信号を用いて画素数変換前後の画像信号のサンプリング周波数を算出するサンプリング周波数算出部と、
前記サンプリング周波数算出部が算出した前記画素数変換前後の画像信号のサンプリング周波数の比を用いて拡大率を判定する拡大率判定部と
を備えることを特徴とする画像信号処理装置。
【請求項２】
前記入力された画像信号を用いて画素数変換前の画像信号のサンプリング位相を判定するサンプリング位相検出部と、
前記サンプリング周波数算出部が算出した画素数変換前の画像信号のサンプリング周波数と前記サンプリング位相検出部が検出した画素数変換前の画像信号のサンプリング位相とを用いて、画素数変換前の画像信号のサンプリングキャリアを生成するサンプリングキャリア再生部と
をさらに備えることを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記サンプリング周波数算出部は、前記入力された画像信号に含まれる折返し成分の信号強度が、折り返される前の成分の信号強度と等しくなる周波数を画素数変換前の画像信号のサンプリング周波数として算出することを特徴とする請求項１または請求項２に記載の画像信号処理装置。
【請求項４】
前記サンプリング周波数算出部は、
前記入力された画像信号から、第１の位相成分信号を抽出し、前記第１の位相成分信号と位相が直交する第２の位相成分信号を生成し、前記第１の位相成分信号と前記第２の位相成分信号とに基づいて、複数の異なる周波数における前記第１の位相成分信号と前記第２の位相成分信号の相関性を示す係数を算出し、該係数に基づいて、前記入力された画像信号に含まれる折返し成分の信号強度が折り返される前の成分の信号強度と等しくなる周波数の2倍の周波数を画素数変換前の画像信号のサンプリング周波数として算出することを特徴とする請求項３に記載の画像信号処理装置。
【請求項５】
予め所定の拡大率で画素数変換された画像信号が入力される入力ステップと、
前記入力された画像信号を用いて画素数変換前後の画像信号のサンプリング周波数を算出するサンプリング周波数算出ステップと、
前記サンプリング周波数算出ステップにおいて算出した前記画素数変換前後の画像信号のサンプリング周波数の比を用いて拡大率を判定する拡大率判定ステップと
を備えることを特徴とする画像信号処理方法。
【請求項６】
前記入力された画像信号を用いて画素数変換前の画像信号のサンプリング位相を判定するサンプリング位相検出ステップと、
前記サンプリング周波数算出ステップにおいて算出した画素数変換前の画像信号のサンプリング周波数と前記サンプリング位相検出ステップにおいて検出した画素数変換前の画像信号のサンプリング位相とを用いて、画素数変換前の画像信号のサンプリングキャリアを生成するサンプリングキャリア再生ステップと
をさらに備えることを特徴とする請求項５に記載の画像信号処理方法。
【請求項７】
前記サンプリング周波数算出ステップは、前記入力された画像信号に含まれる折返し成分の信号強度が、折り返される前の成分の信号強度と等しくなる周波数の2倍の周波数を画素数変換前の画像信号のサンプリング周波数として算出することを特徴とする請求項５または請求項６に記載の画像信号処理方法。
【請求項８】
前記サンプリング周波数算出ステップは、
前記入力された画像信号から、第１の位相成分信号を抽出し、前記第１の位相成分信号と位相が直交する第２の位相成分信号を生成し、前記第１の位相成分信号と前記第２の位相成分信号とに基づいて、複数の異なる周波数における前記第１の位相成分信号と前記第２の位相成分信号の相関性を示す係数を算出し、該係数に基づいて、前記入力された画像信号に含まれる折返し成分の信号強度が折り返される前の成分の信号強度と等しくなる周波数を画素数変換前の画像信号のサンプリング周波数として算出することを特徴とする請求項７に記載の画像信号処理方法。
【請求項９】
予め所定の拡大率で画素数変換された画像信号からなる映像信号を入力する入力部と、
前記入力された画素数変換後の画像信号を用いて画素数変換前後の画像信号のサンプリング周波数を算出するサンプリング周波数算出部と、
前記サンプリング周波数算出部が算出した画素数変換前後の画像信号のサンプリング周波数の比を用いて前記所定の拡大率を判定する拡大率判定部と、
前記入力された画素数変換後の画像信号を用いて画素数変換前の画像信号のサンプリング位相を算出し、前記画素数変換前の画像信号のサンプリング周波数と前記画素数変換前の画像信号のサンプリング位相とを用いて、画素数変換前の画像信号のサンプリングキャリアを生成するサンプリングキャリア再生部と、
前記拡大率判定部が判定した前記所定の拡大率を用いて、前記入力映像信号から折返し成分を除去または低減した原成分信号を生成する原成分信号生成部と、
前記映像信号に含まれる折返し成分と、前記サンプリングキャリア再生部が生成した画素数変換前のサンプリングキャリアとに基づいて高域成分信号を生成し、前記原成分信号生成部が生成した前記原成分信号と前記高域成分信号とを用いて高解像画像信号を生成する高解像画像信号生成部と、
前記解像度変換部が生成した高解像映像信号を表示する表示部を備えることを特徴とする映像表示装置。
【請求項１０】
前記原成分信号生成部は、前記映像信号に含まれる画像信号に位相シフト処理を行い、前記位相シフト処理前後の画像信号に対して、前記拡大率判定部が判定した前記所定の拡大率と前記映像信号における画像信号間の位相差とを用いて算出した係数を乗じて加算して、原成分信号を生成することを特徴とする請求項９記載の映像表示装置。
【請求項１１】
前記高解像画像信号生成部は、
前記映像信号から折返し成分を抽出して折返し成分信号を生成する折返し成分信号生成部と、
前記折返し成分信号生成部が生成した折返し成分信号を、前記サンプリングキャリア再生部が生成した前記画素数変換前のサンプリングキャリアを用いて周波数変換して高域成分信号を生成する周波数変換部と、
前記周波数変換部が生成した高域成分信号と前記原成分信号生成部が生成した原成分信号とを加算または混合する加算・混合部とを備えることを特徴とする請求項９記載の映像表示装置。
【請求項１２】
前記サンプリング周波数算出部は、前記入力された画素数変換後の画像信号画像信号に含まれる折返し成分の信号強度が、折り返される前の成分の信号強度と等しくなる周波数の2倍の周波数を画素数変換前の画像信号のサンプリング周波数として算出することを特徴とする請求項９記載の映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高解像度化するための技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いたローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
そこで、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術が特許文献１に開示されている。
【０００４】
同様に、３枚の入力画像フレームの各位相差に基づいて各画像信号を加重加算し、折返し成分を除去して、高解像度化を実現する技術が特許文献２に開示されている。
【０００５】
また、９枚の入力画像フレームの各位相差に基づいて各画像信号を加重加算し、折返し成分を除去して、水平方向と垂直方向からなる２次元方向の高解像度化を実現する技術が特許文献３記載の技術に開示されている。
【０００６】
【特許文献１】特開２００７−３２４７８９号
【特許文献２】特開平８−３３６０４６号
【特許文献３】特開平９−６９７５５号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
地上波や衛星(BS、CS)を用いた現在のデジタルテレビ放送では、従来のSD(Standard Definition)の画像信号に加え、HD(High Definition)の画像信号にて番組が放送されている。HD画像信号のような高画素数信号の放送であっても、ずべての番組がHDカメラ（高解像度カメラ）で撮影した画像信号ではない。例えば、一部の番組やシーンでは、SDカメラのような低画素数カメラで撮影された画像信号を、HD画像信号のような高画素数信号に変換(アップコンバート)して放送することがよく知られている。
【０００８】
このようなアップコンバート後の信号に対して特許文献１、２、３に示した従来の解像度変換処理を行っても高解像度化の効果が少ないという課題があった。
【０００９】
本発明は、上記従来技術の課題に鑑みて為されたものであり、その目的は、画像信号をより好適に高解像度化することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【００１１】
本発明によれば、画像信号をより好適に高解像度化することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施例を、図面を参照して説明する。
【００１３】
また、各図面において、同一の符号が付されている構成要素は同様の機能を有すること
とする。
【００１４】
また、本明細書の各記載及び各図面における「位相」という表現は、２次元画像空間において用いた場合は、２次元画像上の「位置」という意味も含む。当該位置は、小数画素精度の位置を意味する。
【００１５】
また、本明細書の各記載及び各図面における「アップコンバート」という表現は、画像の画素数を多くする変換処理（画素数増加処理）または画像を拡大する変換処理（画像拡大変換処理）を意味する。
【００１６】
また、本明細書の各記載及び各図面における「動き補償」という表現は、位相差もしくはサンプリング位相差、すなわち空間的な位置の差を算出して位置合わせを行う意味を含む。
【００１７】
また、本明細書の各記載及び各図面における「Re軸」という表現は、実数軸を意味する。
【００１８】
また、本明細書の各記載及び各図面における「Im軸」という表現は、虚数軸を意味する。
【００１９】
また、本明細書の各記載及び各図面における「アップレート」という表現は、アップサンプリングという意味も含む。
【００２０】
また、本明細書の各記載及び各図面における「ダウンレート」という表現は、ダウンサンプリングという意味も含む。
【００２１】
また、本明細書の各記載及び各図面における「サンプリング周波数」という表現は、フレーム画像における単位長さあたりの画素数を意味する。例えば、前記単位長さを画面の左右端および上下端の長さとし、フレーム画像の画素数が水平方向に1920画素、垂直方向に1080画素の場合は、水平方向のサンプリング周波数は1920(ppw:pixels per width)、垂直方向のサンプリング周波数は1080(pph:pixels per height)となる。
【００２２】
また、本明細書の各記載及び各図面における「サンプリングキャリア」という表現は、サンプリングパルスを、サンプリング間隔を1周期とする正弦波(基本波)、およびその整数倍の周波数を持つ正弦波(高調波)の重ね合わせと考えたときの、各正弦波信号あるいはそのうちの1つの正弦波信号を意味する。
【００２３】
以下、本発明の実施例について、図面を参照しつつ説明する。
【実施例１】
【００２４】
図１に、本発明の実施例１に係る画像信号処理装置を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の映像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として映像表示装置を例にして説明する。
【００２５】
図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを高解像度化するための解像度変換部(2)と、更にこの解像度変換部(2)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。ここで、入力部(1)は、必要であれば、選局、復調、ストリーム分離機能を有してもよい。また、他の機器からの映像を入力する入力端子でもよい。また、表示部(3)として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部(2)の詳細について説明する。
【００２６】
解像度変換部(2)では、放送局側でSD→HD変換(アップコンバート)された映像や、受信側におけるLSIチップなどで画素数変換処理をされた低解像度映像を、高解像度の映像に変換する。すなわち、図１の例では、入力部(1)に入力される映像が既に放送局側でSD→HD変換(アップコンバート)されていてもよく、入力部(1)に入力された映像信号が、例えば画素数変換部(107)によって画素数変換処理されたのち、解像度変換部(2)に入力されてもよい。以下、解像度変換部(2)の具体的な構成および動作について詳しく説明する。
【００２７】
図１において、まず原成分抽出部(101)は、原成分抽出部(101)に入力されるフレーム#1とフレーム#2の信号を用いて、フレーム#1の原成分(例えば、図３に示した(301)の成分)を抽出する。このとき、原成分抽出部(101)による原成分の抽出処理においては、拡大率(m/n)の情報が用いられる。拡大率(m/n)の情報は、入力部(5)を介して
から入力されてもよいが、記憶部(108)に予め記憶しておいてもよい。また、フレーム#1とフレーム#2とともに、ストリームデータに含められた状態で入力されてもよい。
【００２８】
続いて、折返し成分抽出部(103)により、フレーム#1の折返し成分(例えば、図３に示した(305)の成分)を抽出する。このとき、減算器(102)を用いて、原成分抽出部(101)に入力されるフレーム#1の信号から原成分抽出部(101)の出力信号を減じる構成にすれば、折返し成分抽出部(103)を実現できる。周波数変換部(104)によって、抽出した折返し成分をフレーム#1の折返し成分をもとの高域成分に戻す。ここで、周波数変換部(104)の処理においては、基準位相(δ)の情報が用いられる。ここで、基準位相(δ)とは、上記の放送局側のSD→HD変換や受信側における画素数変換処理において、拡大処理の基準となる画像中の位置を示す位相情報である。基準位相(δ)の情報は、入力部(5)から入力されてもよいが、記憶部(108)に予め記憶しておいてもよい。また、フレーム#1とフレーム#2とともに、ストリームデータに含められた状態で入力されてもよい。次に、上記高域成分を加算器(105)によって原成分と加算または混合して、高域成分再生部(106)の出力信号とする。なお、加算器(105)における加算、混合処理は、単純加算でもよく、原成分と高域成分とにそれぞれ係数を乗じて加算してもよい。すなわち、原成分と高域成分とを変数とする関数を用いた混合であればいずれの関数でもかまわない。
【００２９】
ここで、原成分抽出部(101)は、図２に示すように、画素数を変更せずに折返し成分を除去または低減するものである。以下、原成分抽出部(101)の動作の詳細について説明する。
【００３０】
図２において、原成分抽出部(101)は、入力部(3)から２枚の画像フレーム#1および#2を入力し、折返し成分の除去または低減を行い、折返し成分を除去または低減した後の原成分を出力する。原成分抽出部(101)は、位置推定(201)および位相シフト(216)によって、２枚の入力画像フレームの各画像信号に対して位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。
これにより、２枚の入力画像フレームの画像信号から４つの信号を生成することができる。折返し成分除去(217)によって、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、原成分画像の画素値を生成する。これを生成画像の各画素について行うことにより、原成分画像を生成することができる。これにより、２枚の入力画像フレームを用いて、より折返し成分が少ない画像を生成することができる。
【００３１】
なお、上述のとおり、本実施例に係る解像度変換部(2)の処理で想定する処理対象信号は、放送局側でSD→HD変換(アップコンバート)され、入力部(1)に入力される映像や、入力部(1)に入力された後にLSIチップなどの画素数変換部(107)によって画素数を増加された映像(すなわち拡大された映像)など、画素数変換された低解像度映像である。例えば、低解像度映像の画素数をm/n倍(ただし、m、nは整数)に増加した信号が入力された場合は、画素数変換前のサンプリング周波数(fs)と画素数変換後のサンプリング周波数（ｆｓ’)との間に、fs=fs’*n/m の関係式が成り立つものとする。このとき、画素数変換前のサンプリング周波数(fs)を基準に仮想的に推定した位相差θと、図２に示す原成分抽出部(101)の中の位置推定部(201)によって、画素数変換後のサンプリング周波数（ｆｓ’）を基準に実際に推定した位相差θ’（１２０２）との間にも同様に、θ＝θ’＊ｎ／ｍ  の関係式が成り立つ。
【００３２】
図２に示す位置推定部(201)では、原成分抽出部(101)に入力されるフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、画素数変換後のサンプリング周波数（ｆｓ’)をもとに画素ごとにサンプリング位相差θ’(1202)を求め、動き補償部(1201)にてフレーム#2を動き補償してフレーム#1と位置を合わせたのちに、位相シフト部(216)および折返し成分除去部(217)を用いて折返し成分を除去または低減する。
【００３３】
図３に、原成分抽出部(101)の上記動作における折り返し成分と原成分の関係を示す。ここで、同図に示す周波数fsは、アップコンバートなどの画素数変換を行う前のサンプリング周波数であり、上述のように画素数変換後のサンプリング周波数（ｆｓ’)との間に、fs=fs’*n/m の関係式が成り立つものとする。同図は、図２に示した遅延器(205)(207)とπ/2位相シフト器(206)(208)の各出力を、1次元の周波数領域で示したものである。同図(a)において、遅延器(205)(207)から出力されたフレーム#1とフレーム#2の信号はそれぞれ、原成分(301)(302)と、元のサンプリング周波数(fs)から折り返された折返し成分(305)(306)を加えた信号となる。このとき、折返し成分(306)は位相差θ(202)だけ位相が回転している。ここで、位相差θ(202)とは、図２に示す位置推定部(201)により、原成分抽出部(101)に入力されるフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定した結果の位相差θ’(1202)、すなわち対応する画素間の「ずれ量」を、上述したθ=θ’*n/m の関係式によって変換したのちに、画素間隔(=標本化間隔=2π)で正規化した値である。
【００３４】
一方、π/2位相シフト器(206)(208) から出力されたフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(303)(304)と、π/2位相シフト後の折返し成分(307)(308)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。
【００３５】
ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。
【００３６】
放送局側でのSD→HD変換(アップコンバート)や、画素数変換部(107)における画素数変換には、ローパスフィルタが一般的に用いられる。このとき、ローパスフィルタの周波数特性に応じて、各成分の周波数ごとの信号強度が変化するが、図３に示す原成分(301)と(302)の間、あるいは折返し成分(305)(306)(307)(308)の間では、周波数ごとの信号強度の変化の度合いは同一となるため、係数決定部(209)にて従来技術の解像度変換部(4)で用いる位相差θの替わりに位相差(θ’*n/m)を用いて係数(C00,C10,C20,C30)を決定することによって、折返し成分をキャンセルすることができる。
【００３７】
ここで、図１３を用いて、係数決定器(209)で発生する各係数(C00,C10,C20,C30)の決定方法について説明する。
【００３８】
まず、図１３に、係数決定器(209)の動作と具体例を示す。同図(a)に示すように、図３(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図３(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の折返し成分が少ない画像を抽出する画像信号処理装置を実現できる。
【００３９】
ここで、図２に示すように、遅延器(205)の出力(フレーム#1の原成分と折返し成分の和)に対する係数をC00、π/2位相シフト器(206)の出力(フレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC10、遅延器(207)の出力(位置推定部(201)および動き補償部(1201)によって、フレーム#1を基準として画素ごとに小数画素精度で動き補償したフレーム#2の原成分と折返し成分の和)に対する係数をC20、ヒルベルト変換器(208)の出力(上述のように動き補償したフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC30とする。上述のように、画素数変換前のサンプリング周波数(fs)を基準に仮想的に推定した位相差θと、図２に示す原成分抽出部(101)の中の位置推定部(201)によって、画素数変換後のサンプリング周波数（ｆｓ’)を基準に実際に推定した位相差θ’(1202)との間に、θ=θ’*n/m の関係式が成り立つ。このため、図１３(a)に示した、(1)原成分のRe軸の合計=0、(2)原成分のIm軸の合計=0、(3)折返し成分のRe軸の合計=1、(4)折返し成分のIm軸の合計=0、の条件を満たすようにすると、画素数変換前のサンプリング周波数(fs)を基準にした位相差θを用いて、図３(b)および図３(c)に示した各成分の位相関係から、図１３(b)に示す連立方程式を得ることができる。これを解くと、図１３(c)に示す結果を導くことができる。係数決定器(209)では、図１３(a)、図１３(ｂ)、図１３(c)のいずれかを満たす係数C00、C10、C20、C30を出力する。
【００４０】
一例として、画素数変換前のサンプリング周波数(fs)を基準にした位相差θをπ/8ごとに0〜2πまで変化させたときの係数C00、C10、C20、C30の値を、図１３(d)に示す。
【００４１】
以上のように、係数決定器(209)が各係数(C00,C10,C20,C30)を発生し、図２に示す原成分抽出部(101)の折返し成分除去部(217)は、この係数を用いることにより折返し成分をキャンセルすることが可能となる。
【００４２】
次に、図１の解像度変換部(2)の全体動作例を、従来の映像信号の解像度変換の例と比較して説明する。
【００４３】
まず、従来の映像信号の解像度変換処理の例を図４から図６を用いて説明する。以下の例では、映像が放送局側でのSD→HD変換(アップコンバート)される場合について説明する。
【００４４】
地上波や衛星(BS、CS)を用いた現在のデジタルテレビ放送では、SD(Standard Definition)の画像信号に加え、HD(High Definition)の画像信号にて番組が放送されている。図４に示すように、全番組がHDカメラ(401)で撮影された画像信号になっているわけではなく、SDカメラ(402)で撮影された画像信号を、SD→HD変換器(403)によってHDと同じ画素数を持つ信号に変換(アップコンバート)し、番組ごとに、あるいはシーンごとに切替器(404)で切り替えて、伝送路(405)に出力していることがよく知られている。なお、伝送路(405)は、放送だけでなく、通信、蓄積(録画)なども含むとともに、画像符号化や多重等の信号処理も含む。
【００４５】
上記のように、事前に画素数変換された画像信号が入力された場合に、特許文献１に示すような従来の解像度変換処理をそのまま適用しても、高解像度化の効果が少ない。以下、その詳細について説明する。
【００４６】
図５に、SD→HD変換器(403)の一般的な構成を示す。例えば、画素数をm/n倍(ただし、m、nは整数)に変更する場合、まずアップレート器(501)にてm倍にアップレート(すなわち、m画素ごとに入力データを順番に配置し、その間の(m-1)個の画素には”０”を挿入)したのち、所定の特性を持ったローパスフィルタ(502)を掛け、ダウンレート器(503)にて1/n倍にダウンレート(すなわちn画素ごとに1画素を等間隔に選択して間引き出力)する。この画素数変換処理を、水平方向および垂直方向に独立して実施することにより、2次元の入力画像フレームを任意の画素数のサイズに変換できる。
【００４７】
図６は、動作の一例として、SD画像からHD画像に変換する際の水平拡大率を8/3(=1920/720)として、図５に示した各部の出力信号の周波数スペクトルを示したものである。図６(a)〜(e)の横軸は周波数fを、縦軸は信号成分の強度を、上向きの矢印(601)はサンプリングキャリア(正弦波)の位置(周波数)を示している。また、SD画像の水平サンプリング周波数をfsとし、SD→HD変換後のHD画像の水平サンプリング周波数をfs’(=8/3fs)とする。
【００４８】
図６(a)は、SDカメラ(402)の出力信号の周波数スペクトルを示しており、ナイキスト周波数(=fs/2)以上の周波数成分をもともと含んでいると想定する。この信号に対して、水平方向に8/3倍に拡大するために、SD→HD変換(403)において8倍アップレート、ローパスフィルタ、1/3倍ダウンレートの各処理を行う。
【００４９】
図６(b)は、SD→HD変換(403)における8倍アップレート器(501)の出力信号の周波数スペクトルを示しており、同図(a)に示したサンプリングキャリアの間隔がfsから8fsに広がることを示している。
【００５０】
図６(c)は、SD→HD変換(403)におけるローパスフィルタ(502)の出力信号の周波数スペクトルを示している。ローパスフィルタ(502)のカットオフ周波数をfs/2と想定すると、同図のようにf=0とf=8fsの近傍の周波数成分だけを残し、その他の周波数成分は除去または低減される。この際、ナイキスト周波数(=fs/2)以上の周波数成分は、折返し成分として残留する。
【００５１】
図６(d)は、SD→HD変換(403)における1/3倍ダウンレート器(503)の出力信号の周波数スペクトルを示しており、SD→HD変換後のサンプリング周波数fs’(=8fs/3)の整数倍の位置に新たなサンプリングキャリアが発生する。このサンプリングキャリアに対して、ローパスフィルタ(502)を通過した周波数成分が畳み込まれることを示している。
【００５２】
図６(d)’は、同図(d)の横軸のスケールを変換して、0≦f≦fsの範囲を見やすくしたものであり、図４に示した伝送路(405)を流れるSD→HD変換後の信号の周波数スペクトルを示している。ここで、図６(d)’に示す原成分に関し、ナイキスト周波数(=fs/2)以上の周波数成分がローパスフィルタ(502)によって減衰しており、もともとの位置に残留してない点が、図３に示した原信号の周波数スペクトルと大きく異なる。すなわち、この信号に対して、そのまま従来の解像度変換処理を行っても、折返し成分を除去または低減する効果しかないため図６(e)に示す周波数スペクトルのようになってしまい、LPF(502)の通過帯域(602)を超える周波数成分を再現することができず高解像度化の効果が少ない。
【００５３】
次に、図１の解像度変換部(2)の全体動作例を図７を用いて説明する。
【００５４】
ここでは一例として、図４に示す構成により、SDカメラ(402)からの信号をSD→HD変換器(403)によって8/3倍に拡大(アップコンバート)された信号が入力された場合を想定して、以下、解像度変換部(2)における各部の動作を説明する。
【００５５】
図７(a)は、解像度変換部(2)への入力信号の周波数スペクトルを表しており、上述した従来技術の動作の説明に用いた図６(d’)と同一のスペクトルである。ここで、8/3倍に拡大(アップコンバート)する前のサンプリング周波数をfsとした場合、fs/2の周波数を超えた原信号の高域成分は、上述したローパスフィルタ(502)によって遮断されるとともに、fs/2を対称軸として折返し成分に変換されている。ローパスフィルタ(502)の遮断特性に応じて高域成分が残留することもあるが、この残留成分は本実施例の動作に大きな影響を与えないため、図示および説明は省略する。
【００５６】
図１に示す原成分抽出部(101)では、図７(a)の信号を入力として折返し成分を除去または低減し、図７(b)の信号を出力する。また、折返し成分抽出部(103)では、図７(a)の信号から図７(b)の信号を減じて、図７(c)の信号を出力する。
【００５７】
図１に示す周波数変換部(104)では、図７(c)の信号を、fs/2を対称軸として高域に折り返すことにより、もとの周波数スペクトルに戻して出力する。周波数変換部(104)の詳細な構成および動作については、後述する。
【００５８】
高域成分再生部(106)では、図７(b)の信号と図７(d)の信号を加算して図７(e)の信号とし、解像度変換部(2)の出力とする。このとき、従来技術の動作の説明に用いた図６(e)のスペクトルよりも高周波成分を再生できる。
【００５９】
次に、図８に、周波数変換部(104)の構成例を示す。前述のように、周波数変換部(104)は、fs/2を対称軸として、入力信号の周波数スペクトルの低域側と高域側を反転して、もとの周波数スペクトルに戻して出力する。この動作を実現するためには、一般に知られているように、同図に示すような1/fsを1周期とする振幅1の正弦波(=cos(2πfs*t+δ))を出力するキャリア(搬送波)発生器(803)を用意し、乗算器(801)を用いて入力信号とキャリアを乗算したのちに、ローパスフィルタ(802)によって不要な周波数成分を除去または低減すればよい。
【００６０】
さらに、図９を用いて、周波数変換部(104)の動作を詳しく説明する。同図(a)は、周波数変換部(104)の入力信号、すなわち折返し成分抽出部(103)の出力信号の周波数スペクトルを示しており、図７(c)に示した周波数スペクトルと同一である。図９(b)は、周波数反転用のキャリアの周波数スペクトルを示しており、1/fsを1周期とする正弦波のため、周波数±fsの線スペクトルとなる。同図(c)は、乗算器(801)の出力信号の周波数スペクトルを示しており、同図(a)と同図(b)の信号を周波数領域で畳み込んだ結果となる。同図(d)は、ローパスフィルタ(802)の通過帯域を示しており、同図(c)の信号のうち -fs≦f≦fsの周波数成分だけを通過させる。ローパスフィルタ(802)の出力の周波数スペクトルは同図(e)のようになり、fs/2を対称軸として、入力信号(同図(a))の周波数スペクトルの低域と高域を反転した結果が得られる。なお、ローパスフィルタ(802)の替わりにバンドパスフィルタを用い、同図(e)に示す周波数成分だけを通過するように構成しても同様の効果が得られることは明らかである。
【００６１】
上述した図７(e)において、原成分と、折返し成分から再生した高域成分を、位相も含めて正しく接続するためには、上記のキャリア発生器(803)で発生するキャリアの基準位相(δ)と拡大前後の画素の位置を、図１０に示すような関係にすればよい。以下、詳しく説明する。
【００６２】
上述した例にならい、図４に示す構成により、SDカメラ(402)からの信号をSD→HD変換器(403)によって8/3倍に拡大(アップコンバート)された場合の(a)拡大前の信号、(b)拡大後の信号、(c)キャリア信号の各位置関係を、図１０(a)(b)(c)にそれぞれ示す。同図(a)に示すように、拡大前の信号の画素(1001-1)(1001-2)(1001-3)(1001-4)としたときに、8/3倍に拡大後の信号の画素位置は、同図(b)に示す画素(1002-1)(1002-2)(1002-3)…(1002-9)のようになっているものと想定する。すなわち、画素(1001-1)と画素(1002-1)の位置、および画素(1001-4)と画素(1002-9)の位置が一致するように拡大されていると想定する。このとき、画素(1001-1)と画素(1002-1)の位置、および画素(1001-4)と画素(1002-9)の位置を基準位相として、同図(c)に示すキャリア信号(cos)の位相が0となるように設定する。このように設定することにより、上記基準位相の位置でキャリア信号の値が1(=cos0)となり、図８に示す周波数変換部(104)の出力(すなわち、図７(d)に示す折返し成分から再生した高域成分)の位相と、図７(b)に示す原成分の位相を一致させることができる。
【００６３】
なお、図９に示した動作には、画素数変換後のサンプリング周波数（ｆｓ’)の影響が考慮されていないが、これについては一般によく知られているオーバサンプリング技術によって解決できる。すなわち、画素数変換後のサンプリング周波数（ｆｓ’)によって新たに発生する折返し成分が妨害となり、周波数スペクトルの一部が重なって図９(e)に示した所望の成分を再生できない場合には、サンプリング周波数(fs、fs’)に比べて十分に高周波の別のサンプリング周波数（ｆｓ’’、ただしfs’’≫fs、かつfs’’≫fs’)を用いてfs’→fs’’のサンプリング周波数変換(画素数変換)したのちに図９に示した動作を行い、再度fs’’→fs’のサンプリング周波数変換を行えば、上述した周波数反転の動作を実現できる。
【００６４】
上記オーバサンプリング技術を改良し、複素正弦波の乗算により周波数変換する技術が特開平１−２９２９０４号などに開示されている。この技術によれば、正弦波掛算とフィルタによる方法では、実信号処理のため、正負周波数を区別することができず、広帯域信号を少量周波数シフトする場合や、サンプリングによる折返し成分が妨害となり、周波数シフトを２回に分けて行なう必要がある等の問題点が解決される。また、複素正弦波の乗算により周波数変換を行なうので、実信号処理による場合のように広帯域信号で和信号と差信号が重なってしまう場合や、サンプリングによる折返しが妨害となる場合でも、一回の周波数変換で処理が可能となり、構成要素の削減を図ることができる。
【００６５】
図１１に、特開平１−２９２９０４号に記載の技術を用いて周波数変換部(104)を構成した例を示す。図８に示した構成では、キャリア発生器(803)で発生するキャリア(cos波)は正負周波数を区別することができなかったが、図１１に示す構成では、キャリア発生器(1105)(1106)によってcos波およびそれと位相がπ/2異なる(すなわち直交する)sin波を同時に発生するとともに、π/2位相シフト器(1101)によって入力信号の直交成分を生成し、乗算器(1102)(1103)および加算器(1104)を用いて、周波数反転と、上述したサンプリングによる折返し成分(妨害)の除去または低減を同時に行うことができる。この動作については、特開平１−２９２９０４号に詳しく記載されているので、ここでの説明は省略する。なお、π/2位相シフト器(1101)として、特許文献１に記載されているヒルベルト変換器をそのまま用いればよい。
【００６６】
なお、上記では、入力信号に水平方向の折返し成分が含まれている場合を例に挙げて説明したが、本発明はこれに限定されるわけではなく、入力信号に垂直方向や時間方向の折返し成分が含まれる場合や、2次元あるいは3次元方向の折返し成分を含む場合にも適用できることは明らかである。この場合、各部で用いるフィルタ、位相シフト、およびキャリア(正弦波)などを、折返し成分が発生している方向に読み替えて適用すればよい。例えば、入力信号に垂直方向の折返し成分を含む場合には、垂直フィルタ、垂直位相シフト、および垂直周波数を持つキャリアを用いればよい。例えば、インタレース走査形態の信号をプログレッシブ走査形態の信号に変換する処理(IP変換)は、垂直方向の画素数(走査線数)を2倍に増加させるアップコンバート処理であるため、IP変換された信号を実施例１に係る画像信号処理装置の入力画像フレームとして、上述した拡大率m/n倍(ただし、m、nは整数)にてm=2、n=1とおけば、垂直方向の解像度変換処理を実現できる。また、例えば、480i(インタレース)から1080p(プログレッシブ)に変換された信号の場合は、垂直方向の拡大率は4.5倍(=1080/(480/2))となるため、上述した画素数変換前のサンプリング周波数(fs)と画素数変換後のサンプリング周波数（ｆｓ’)の関係は、fs’=9fs/2となる。
【００６７】
図４から図６を用いて説明した従来の映像信号の解像度変換処理の例及び図７から図１１を用いて説明した本実施例に係る解像度変換部(2)の動作、構成例は、いずれも、映像が放送局側でのSD→HD変換(アップコンバート)される場合について説明した。しかし、映像が受信側、すなわち本実施例に係る画像信号処理部の画素数変換部(107)において画素数変換された場合も、解像度変換の処理が放送局側から受信側に変わるのみで、その他の説明は上記の説明と同様である。
【００６８】
以上説明した実施例１に係る画像信号処理装置は、事前に画素数変換された画像信号がに対しても、好適な高解像度化が実現できるという効果を有する。
【実施例２】
【００６９】
次に、図１２乃至図１５を用いて、本発明の実施例２について説明する。実施例２は、実施例１に係る解像度変換部(2)と同等の動作を、別の構成に換えて実施したものである。以下、その具体的な構成および動作について詳しく説明する。
【００７０】
図１２において、原成分抽出部(101)の各部の動作については、実施例１に係る原成分抽出部(101)の各部の動作と同様なので、説明を省略する。一方、折返し成分抽出部(1203)(1210)は、上述した折返し成分除去部(217)と同様の構成だが、各係数決定器(1209)(1216)で発生する係数(C02,C12,C22,C32)(C03,C13,C23,C33)を後述のように設定することにより、折返し成分抽出部(1203)(1210)の出力信号の位相が互いに直交するような形態で、それぞれ折返し成分を抽出する。すなわち、折返し成分抽出部(1203)の出力は、実施例１に係る図１に示す減算器(102)から出力される折返し成分と略同一になるようにし、折返し成分抽出部(1210)の出力は、実施例１に係る図１１のπ/2位相シフト器(1101)から出力される折返し成分と略同一になるようにする。周波数変換部(104)および高域成分再生部(106)の各構成は、実施例１に係る図１１および図１に示した各部の構成と同様なので、説明を省略する。
【００７１】
続いて、図１３乃至図１５を用いて、係数決定器(209)(1209)(1216)で発生する各係数(C00,C10,C20,C30)(C02,C12,C22,C32)(C03,C13,C23,C33)の決定方法について説明する。
【００７２】
まず、係数決定器(209)の係数決定動作は実施例１にて説明した図１３の係数決定動作と同様であるため、説明を省略する。
【００７３】
続いて、図１４に、係数決定器(1203)の動作と具体例を示す。係数決定器(1203)では、図１４(a)に示すように、(1)原成分のRe軸の合計=0、(2)原成分のIm軸の合計=0、(3)折返し成分のRe軸の合計=1、(4)折返し成分のIm軸の合計=0とおくことによって、図１４(b)に示す連立方程式を得ることができる。これを解くと、図１４(c)(d)に示すような折返し成分のRe軸の信号のみを取り出す係数(C02、C12、C22、C32)を導出できる。
【００７４】
図１５に、係数決定器(1216)の動作と具体例を示す。上記と同様に、係数決定器(1216)では、図１５(a)に示すように、(1)原成分のRe軸の合計=0、(2)原成分のIm軸の合計=0、(3)折返し成分のRe軸の合計=0、(4)折返し成分のIm軸の合計=1とおくことによって、図１５(b)に示す連立方程式を得ることができる。これを解くと、図１５(c)(d)に示すような折返し成分のRe軸の信号のみを取り出す係数(C03、C13、C23、C33)を導出できる。
【００７５】
このように求めた各係数を用いることにより、図１２に示した折返し成分抽出部(1203)(1216)の各出力(折返し成分)は、互いに位相が直交する。従って、図１１に示した周波数変換部(104)におけるπ/2位相シフト(1101)を不要にでき、図１２に示す周波数変換部(104)のように、乗算器(1102)(1103)に折返し成分抽出部(1203)(1216)の各出力をそのまま入力して、上述した周波数変換の動作を実現できる。
【００７６】
なお、図１３乃至図１５からわかるように、各係数(C00,C10,C20,C30) (C02,C12,C22,C32)(C03,C13,C23,C33)は、同一の位相差θに対して各係数間の並び順が異なるだけなので、図１２における係数決定器(217)(1209)(1216)を統一して、回路を簡略化してもよいことは明らかである。また、図１３および図１４からわかるように、C02=1-C00, C12=-C10, C22=-C20, C32=-C30 の関係となるため、折返し成分のRe軸の合計=フレーム#1の信号−原成分のRe軸の合計の関係となる。従って、図１に示す折返し成分抽出部(103)のような減算器(102)を用い、遅延器(205)の出力から折返し成分除去部(217)の出力信号を減じることによって、折返し成分抽出部(1203)の出力信号の替わりにして、折返し成分抽出部(1203)の回路を簡略化してもよい。
【００７７】
図１３乃至図１５に示した各計算式を1つにまとめると、図１６に示す行列演算式になる。すなわち、図１６(a)における左辺の部分行列(1601)(1602)(1603)は、図１３乃至図１５の各(a)の右辺の値を表す。また、図１６(a)における右辺第1項の行列(1604)は、図１３乃至図１５の左辺の各係数(C00,C10,C20,C30)(C02,C12,C22,C32)(C03,C13,C23,C33)に乗じる係数を表す。また、図１６(a)における右辺第2項の部分行列(1605)(1606)(1607)は、各係数(C00,C10,C20,C30)(C02,C12,C22,C32)(C03,C13,C23,C33)そのものである。この行列演算式を解くと、図１６(b)のように各係数を求めることができる。なお、位相差θの値によっては、各係数の解が不定になって求められないときは、強制的に係数C00=1とし、他の係数(C10,C20,C30,C02,C12,C22,C32,C03,C13,C23,C33)をすべて0にするなどして、解像度変換部(2)に入力されたフレーム#1の信号が、そのまま出力されるようにすればよい。
【００７８】
以上説明した実施例２に係る画像信号処理装置は、実施例１に係る画像信号処理装置の効果に加えて、周波数変換部において、サンプリングによる不要な折返し成分(妨害)を防ぐためのオーバサンプリングやπ/2位相シフト(ヒルベルト変換)が不要になり、構成要素の削減、およびオーバサンプリングやπ/2位相シフトによって生じる処理時間(遅延時間)の削減を図ることができるという効果を有する。
【実施例３】
【００７９】
本発明の実施例３は、図１に示した画像信号処理装置の構成のうち、原成分抽出部(101)に替えて、図２０に示す原成分抽出部(2014)を用いることにより、入力された3枚のフレーム画像を用いて高解像度化する画像信号処理装置を実現するものである。
【００８０】
原成分抽出部(2014)の動作は、特許文献２に記載されている技術を改善したものである。よって、まず、図１７を用いて、特許文献２に記載されている従来技術の動作を説明する。特許文献２に記載の技術では、同図(a)(b)(c)に示すように、3枚のフレーム(#1、#2、#3)の信号を用いて折返し成分をキャンセルし、原信号(1701)(1702)(1703)だけを取り出す。このとき、フレーム#1に含まれる折返し成分(1704)の位相を基準とし、フレーム#2\の折返し成分(1705)の位相差α、およびフレーム#3の折返し成分(1706)の位相差βを画素ごとに推定し、図１８に示す行列演算式を解くことによって、各フレーム(#1、#2、#3)の信号に乗じる係数(C00,C10,C20)を求める。この係数(C00,C10,C20)を、フレーム#1の信号(原成分(1701)と折返し成分(1704)の和)、フレーム#2の信号(原成分(1702)と折返し成分(1705)の和)、フレーム#3の信号(原成分(1703)と折返し成分(1706)の和)にそれぞれ乗じて加重加算することにより、折返し成分(1704)(1705)(1706)をキャンセルして、原成分(1701)(1702)(1703)だけを抽出する。この動作については、特許文献２に詳しく述べられているので、詳細な説明は省略する。
【００８１】
特許文献２に記載されている従来技術も、上述した特許文献１に記載されている従来技術と同様に、折返し成分を除去または低減する効果しかないため、事前に画素数変換された画像信号が入力された場合には高解像度化の効果が少ない。
【００８２】
一方、本発明の実施例３に係る図２０に示す原成分抽出部(2014)では、入力されたフレーム#1の信号は、遅延器(2001)を介して、折返し成分除去部(2013)に入力する。また、入力されたフレーム#2の信号は、位置推定部(2002)によってフレーム#2とフレーム#1の対応する画素どうしの位相差α’(2011) 、すなわち対応する画素間の「ずれ量」を画素ごとに求めたのち、動き補償部(2003)によって上記ずれ量を小数画素精度で補償した信号を生成して、折返し成分除去部(2013)に入力する。同様に、入力されたフレーム#3の信号は、位置推定部(2004)によってフレーム#3とフレーム#1の対応する画素どうしの位相差β’(2012) 、すなわち対応する画素間の「ずれ量」を画素ごとに求めたのち、動き補償部(2005)によって上記ずれ量を小数画素精度で補償した信号を生成して、折返し成分除去部(2013)に入力する。このとき、実施例１と同様に、特許文献２に記載されているようなアップレート(広帯域補間)は必要なく、画素(サンプリング点)を補間して画像データを高密度化する必要もない。
【００８３】
折返し成分除去部(2013)では、上述した位相差(α’、β’)から、画素数変換を行う前のサンプリング周波数(fs)を基準に推定した位相差(α、β)に変換したのちに、係数決定器(2006)にて係数(C00,C10,C20)を画素ごとに決定し、乗算器(2007)(2008)(2009)および加算器(2010)を用いて各信号を加重加算することによって折返し成分を除去または低減し、原成分抽出部(2014)の出力とする。
【００８４】
ここで、係数決定器(2006)で用いる各位相差(α、β)は、画素数をm/n倍(ただし、m、nは整数)に増加する画素数変換を行う前のサンプリング周波数(fs)を基準に推定した位相差であり、画素数変換後のサンプリング周波数（ｆｓ’)を基準に推定した位相差(α’、β’)との間には、α=α’*n/m および β=β’*n/m の関係式が成り立つ。この位相差(α、β)を用いれば、従来技術と同様の図１８に示す行列演算式を利用して、係数(C00,C10,C20)を決定できる。
【００８５】
なお、実施例３に係る画像信号処理装置は、原成分抽出部(2014)の出力(原成分)を、図１に示した原成分抽出部(101)の出力(原成分)としてそのまま利用できる。従って、図１に示した解像度変換部(2)における原成分抽出部(101)以外の各部の構成および動作、すなわち折返し抽出部(103)および高域成分再生部(106)の構成および動作は、実施例１に係る画像信号処理装置と同様であるため、説明は省略する。
【００８６】
以上説明した実施例３に係る画像信号処理装置によれば、放送局側でSD→HD変換(アップコンバート)された映像など、前段の処理で画素数変換された低解像度映像に含まれる３枚の画像を用いて、折返し成分を低減するとともに高周波成分を再現して、高解像度の画像を生成するできる。
【実施例４】
【００８７】
次に、図１９及び図２１を用いて、本発明の実施例４について説明する。実施例４は、実施例３に係る解像度変換部(2)と同等の動作を、別の構成に換えて実施したものである。以下、その具体的な構成および動作について詳しく説明する。
【００８８】
まず、実施例３に係る図１８に示した行列演算式を図１９(a)に示す行列演算式に拡張し、図１９(b)のように各係数(C00,C10,C20)(C01,C11,C21)(C02,C12,C22)を求める。ここで、図１９(a)における左辺の部分行列(1801)は、(1)原成分のRe軸の合計=1、(2)折返し成分のRe軸の合計=0、(3)折返し成分のIm軸の合計=0、であることを表す。同様に、図１９(a)における左辺の部分行列(1901)は、(1)原成分のRe軸の合計=0、(2)折返し成分のRe軸の合計=1、(3)折返し成分のIm軸の合計=0、であることを表し、図１９(a)における左辺の部分行列(1902)は、(1)原成分のRe軸の合計=0、(2)折返し成分のRe軸の合計=0、(3)折返し成分のIm軸の合計=1、であることを表す。図１９(a)における右辺第1項の行列(1802)は、図１８における行列(1802)と同一である。なお、各位相差(α、β)は、画素数をm/n倍(ただし、m、nは整数)に増加する画素数変換を行う前のサンプリング周波数(fs)を基準に推定した位相差であり、画素数変換後のサンプリング周波数（ｆｓ’)を基準に推定した位相差(α’、β’)との間には、α=α’*n/m および β=β’*n/m の関係式が成り立つ。
【００８９】
図１９(b)のように求めた各係数(C00,C10,C20)(C01,C11,C21)(C02,C12,C22)を動き補償後の各フレーム(#1、#2、#3)の信号に乗じることにより、原成分のRe軸の合計、折返し成分のRe軸の合計、折返し成分のIm軸の合計の各成分を抽出できる。
【００９０】
図２１に、実施例４に係る解像度変換部(2)の構成を示す。同図において、原成分抽出部(2014)は、図１９(b)のように求めた係数(C00,C10,C20)を各フレーム(#1、#2、#3)の信号に乗じて原成分のRe軸の合計の成分を抽出するものである。原成分抽出部(2014)の各部の動作については、実施例３に係る図２０に示した原成分抽出部(2014)の各部の動作と同様なので、説明は省略する。
【００９１】
図２１における折返し成分抽出部(2111)は、乗算器(2102)(2103)(2104)および加算器(2105)を用いて、図１９(b)のように求めた係数(C01,C11,C21)を各フレーム(#1、#2、#3)の信号に乗じて折返し成分のRe軸の合計の成分を抽出するものである。
【００９２】
同様に、図２１における折返し成分抽出部(2112)は、乗算器(2107)(2108)(2109)および加算器(2110)を用いて、図１９(b)のように求めた係数(C02,C12,C22)を各フレーム(#1、#2、#3)の信号に乗じて折返し成分のIm軸の合計の成分を抽出するものである。
【００９３】
このようにして抽出した原成分のRe軸の合計、折返し成分のRe軸の合計、折返し成分のIm軸の合計の各成分を、実施例２に係る図１２に示した高域成分再生部(106)に入力し、高解像度化した信号を出力する。高域成分再生部(106)の各部の動作については、実施例２に係る高域成分再生部(106)の各部の動作と同様なので、説明を省略する。
【００９４】
なお、図１９(b)からわかるように、C01=1-C00、C11=-C10、C21=-C20の関係になるため、図１に示した折返し成分抽出部(103)のように、図２１に示した折返し成分抽出部(2111)の替わりに、フレーム#1の入力信号(遅延器(2001)の出力)から原成分(加算器(2010)の出力)を減じることによって、折返し成分のRe軸の合計の成分としてもよいことは明らかである。
【００９５】
以上説明した実施例４に係る画像信号処理装置は、実施例３に係る画像信号処理装置の効果に加えて、周波数変換部において、サンプリングによる不要な折返し成分(妨害)を防ぐためのオーバサンプリングやπ/2位相シフト(ヒルベルト変換)が不要になり、構成要素の削減、およびオーバサンプリングやπ/2位相シフトによって生じる処理時間(遅延時間)の削減を図ることができるという効果を有する。
【００９６】
なお、本発明の各実施例における拡大率(m/n)と基準位相(δ)をそれぞれパラメータ化し、送信装置から受信装置に対して、映像信号(フレーム#1、#2、#3など)と対応づけて伝送するようにしてもよい。
【００９７】
また、拡大率(m/n)と基準位相(δ)は、例えば、送受信間で同様かつ所定の値となるように予め定めておき、送信装置と受信装置においてそれぞれ当該所定の値を記憶部などに予め記憶しておき、互いに用いればよい。このようにすれば、送信装置、受信装置間における拡大率(m/n)と基準位相(δ)の送信、受信や受信装置における検出等は不要になる。
【００９８】
また、拡大率(m/n)あるいは基準位相(δ)が受信側で検出あるいは再生できない場合は、上述した解像度変換処理を止めて、例えばフレーム#1の入力信号が画像信号処理装置の出力信号としてそのまま出力されるように構成してもよい。
【実施例５】
【００９９】
次に、図２２乃至図２６を用いて、本発明の実施例５について説明する。実施例５は、入力された映像信号から上述した拡大率(m/n)と基準位相(δ)を検出する画像信号処理装置に係るものである。これにより、拡大率(m/n)と基準位相(δ)を送信装置から受信装置に伝送することなく、また送受信間で同様かつ所定の値となるように予め定めることなく、本発明の実施例１乃至４に係る周波数変換部(104)で用いるサンプリングキャリア(cos(2πfs*t+δ)、sin(2πfs*t+δ))を生成することが可能になる。
【０１００】
図２２に、実施例５に係るサンプリングキャリア再生部(2218)の構成を示す。同図において、画像信号をバンドパスフィルタ(以下、BPF)(2201)に入力する。このBPF(2201)は、後述する相関係数(r,R)によって制御される周波数制御部(2217)からの周波数fの情報に基づき、後述するキャリア発生器(2207)(2208)で発生するキャリア(cos波、sin波)と同一周波数fの近傍の周波数成分だけを通過させる。これは不要成分やノイズの混入などを防いで処理を安定させるためのものであり、その特性は本発明の原理に影響しないため、詳細の説明は省略する。続いて、π/2位相シフト器(2202)、乗算器(2203)(2204)(2205)(2206)、キャリア発生器(2207)(2208)、加算器(2209)、および減算器(2210)を用いてキャリア(cos波、sin波)を変調し、BPF通過後の入力信号の周波数fを直流(=周波数0)に変換する。この動作は、一般的に知られている三角関数の加法定理(cos(α-β)=cosαcosβ+sinαsinβ、sin(α-β)=sinαcosβ-cosαsinβ)において、α=入力信号の周波数、β=キャリアの周波数、と対応させたものであり、位相の直交性(π/2位相シフト)を保持したまま、周波数変換することができる。続いて、低域通過フィルタ(以下、LPF)(2211)(2212)を用いて、各信号の直流近傍の周波数成分だけを抽出すれば、LPF(2211)の出力は、キャリアの周波数に近い入力信号成分に関する複素平面上の実軸(Re軸)方向の信号強度を表し、LPF(2212)の出力は、キャリアの周波数に近い入力信号成分に関する複素平面上の虚軸(Im軸)方向の信号強度を表すことになる。なお、LPF(2211)(2212)は、ノイズ等の影響を抑えるためのものであり、本発明の原理に直接影響しないため、詳細の説明は省略する。これらのLPF(2211)(2212)の出力を、後述する相関係数算出部(2213)に入力し、相関係数算出部(213)では傾きaと相関係数(r,R)の各信号を生成する。上述のとおり、相関係数(r,R)により制御される周波数制御部(2217)が周波数f(=fs/2)を算出し、周波数fや周波数fから算出した画素数変換前の映像信号のサンプリング周波数(fs)を出力する。また、現サンプリング周波数算出部(2220)は入力された映像信号、すなわち拡大率(m/n)で画素数変換された後の映像信号のサンプリング周波数（ｆｓ’)を検出する。現サンプリング周波数算出部(2220)のサンプリング周波数は入力された映像信号そのもののサンプリング周波数(画素数)を検出すればよい。これは、一般的な画素数カウンタ等を用いれば実現できるため、詳細な説明は省略する。以上のBPF(2201)から。現サンプリング周波数算出部(2220)までの構成が、サンプリング周波数算出部(2219)を構成する。サンプリング周波数算出部(2219)は、拡大率(m/n)で画素数変換された後の映像信号を入力して、画素数変換された前後のサンプリング周波数に関する情報である周波数f(=fs/2)、周波数fs及び周波数fs’を出力する。
【０１０１】
次に、サンプリング周波数算出部(2219)のLPF(2211)(2212)の出力は、初期位相検出部(2214)に入力され、初期位相検出部(2214)では初期位相差(cosφ、sinφ)の各信号を生成する。さらに、キャリア発生器(2215)(2216)は、サンプリング周波数算出部(2219)の周波数制御部(2217)からの周波数fs(=2f)と初期位相検出部(2214)で発生させた初期位相差(cosφ、sinφ)を用いて、上述した図８、図１１、図１２に示した各キャリア発生器(803)(1105)(1106)と同様のサンプリングキャリア(cos(2πfs*t+δ)、sin(2πfs*t+δ))を発生する。このサンプリングキャリアは実施例１乃至４に係る周波数変換部(104)に用いられる。
【０１０２】
さらに、サンプリング周波数算出部(2219)の周波数制御部(2217)からの出力である画素数変換前の映像信号のサンプリング周波数(fs)、及び現サンプリング周波数算出部(2220)からの出力である画素数変換後の映像信号のサンプリング周波数（ｆｓ’)は拡大率判定部(2221)に入力され、拡大率判定部(2221)は、これらの周波数用いて、拡大率(m/n)=fs’/fsを算出する。当該算出処理の詳細は後述する。
【０１０３】
以上の構成により、実施例５に係るサンプリングキャリア再生部(2218)は、映像信号を入力し、サンプリングキャリア(cos(2πfs*t+δ)、sin(2πfs*t+δ))と拡大率(m/n)を出力することができる。
【０１０４】
以下、図２３乃至図２６を用いて、図２２に示したサンプリングキャリア再生部(2218)の動作原理の詳細を説明する。
【０１０５】
図２３に、入力された画像信号の周波数スペクトルの一例を示す。同図は、上述した図６(d)(d’)および図７(a)と同一の周波数スペクトルを示している。上述したように、拡大前のサンプリング周波数(fs)の1/2の周波数(fs/2)を超えた原信号の高域成分は、fs/2を対称軸として折返し成分に変換されている。ここで、周波数f=f1,f2,f3,f4,f5の5つを例に挙げ、各周波数における信号成分を画素ごとに各点として複素数平面上にプロットすることを考える。すなわち、図２２に示すLPF(2211)(2212)の出力を、画素ごとにそれぞれRe軸とIm軸からなる複素平面上にプロットする。
【０１０６】
このとき、cos(2πft)=(exp(j2πft)+exp(-j2πft))/2と表すことができることが一般的に知られており、この式の右辺第1項が原成分（折り返される前の成分）、右辺第2項がサンプリングキャリアによる周波数変換前の折返し成分であることを考慮すると、図２４に示すように、原成分と折返し成分は複素平面上で互いに反対向きに、それぞれの信号強度に応じた半径の円軌道上を回転していると考えることができる。
【０１０７】
この考え方を、図２３に示した周波数f=f1,f2,f3,f4,f5の各成分に当てはめて、各周波数における信号成分を、1フレームを構成する全画素について複素数平面上にプロットすると、f=f1の周波数に原成分しか存在せず、1フレーム内の離れた画素位置の信号強度や位相には相関性がないため、図２５(a)に示すようにRe軸やIm軸とは無相関になり、プロットした各点が円状に散らばることになる。また、f=f2の周波数では、f=f1のときと同様に原成分しか存在しないが、図７５によれば周波数f2における信号強度のほうが周波数f1における信号強度よりも小さいため、図２５(b)に示すように、図２５(a)よりも円の半径が小さくなる。
【０１０８】
一方、f=f3の周波数では、図２３に示すように折返し成分を含むようになるため、図２４に示したように、原成分と折返し成分が逆回転をしているため、両者の合成ベクトル(すなわち画素値)が複素平面上で動く軌跡は、図２５(c)に示すように楕円状の分布になる。
【０１０９】
さらに、f=f4(=fs/2)の周波数では、折返しの対称軸上になるため、原成分と折返し成分の信号強度が一致することになる。一旦折返し成分が発生してしまえば、途中で他の信号処理が入っても、原成分と折返し成分の信号強度が一致する関係は保存される。従って、この周波数では逆回転する原成分と折返し成分の各信号強度が等しくなるため、両者の合成ベクトルが複素平面上で動く軌跡は、図２５(d)に示すように直線状の分布になる。
【０１１０】
なお、f=f5の周波数では、信号成分が減衰しているため、複素平面上にプロットした各点は、図２５(e)に示すように原点に集中することになる。
【０１１１】
実際には、ノイズの影響や、各周波数成分を抽出するフィルタの不完全さなどのために、図２５(d)に示すような完全に直線状に分布するとは限らないが、複素平面上にプロットした各点は、おおむね上述したような傾向になる。従って、図２２に示す周波数制御部(2217)により周波数fを徐々に変化させ、図２５(d)に示すように、上述の複素平面上の各点の分布が直線状に最も近づいたときの周波数(f=f4)が折返しの対称軸の周波数(fs/2)と判定すればよい。
【０１１２】
図２６を用いて、図２２に示した相関係数算出部(2213)の動作、すなわち複素平面上の各点の分布を確認する方法の一例を示す。図２６において、まず、複素平面上の原点を通り傾きaの仮想的な直線(y=ax)を引き、最小自乗法を用いて、各点(x1,y1)、(x2,y2)、(x3,y3)…(xj,yj)とこの直線との距離の2乗の合計が最も小さくなるように傾きaの値を決める。この直線(y=ax)は、点と直線の距離を用いた回帰直線と呼ぶ。 
ここで、図３１の式を用いて、上記回帰直線の内容を簡単に説明する。まず、各点(x1,y1)、(x2,y2)、(x3,y3)…(xj,yj)のx値の2乗の合計を、図３１の式(1)のようにSxxとおく。同様に、各点のy値の2乗の合計を図３１の式(2)のようにSyyとおき、各点のx値とy値の積の合計を図３１の式(3)のようにSxyとおく。すると、図２６における各点と直線(y=ax)の距離の2乗の合計は、直線の傾き(a)をパラメータとして、図３１の式(4)のようにf(a)とおける。このf(a)の値が最小となるaを求めればよいので、図３１の式(5)のようにf(a)をaで微分してdf(a)/da=0とおくと、図３１の式(6)のようにaを求めることができる。このときのaの値を図３１の式(4)に代入すれば、図２６に示した各点(x1,y1)、(x2,y2)、(x3,y3)…(xj,yj)と直線(y=ax)との距離の2乗の合計の最小値(fmin)を求めることができる。この最小値(fmin)は、図３１の式(8)に示すパラメータr(ただし、0≦r≦1)を用いて、図３１の式(7)のように変形できる。なお、図３１の式(8)の中のsqrtは、ルート(根号)の演算を表す記号である。
【０１１３】
ここで、r=0 のとき、図３１の式(8)より、4(SxxSyy - Sxy2)=(Sxx + Syy)2、すなわち -4Sxy2=(Sxx - Syy)2となるため、Sxy=0 かつ Sxx=Syy となる。このとき、図３１の式(5)に示すf(a)の微分値(df(a)/da)はaの値によらず常に0となるため、図７８における各点と直線(y=ax)との距離の2乗の合計値は傾き(a)の値に関係なく一定になり、図３１の式(7)よりfmin=(Sxx+Syy)/2となる。すなわち、各点の配置は互いに無相関であると言える。
【０１１４】
一方、r=1 のとき、図３１の式(7)よりfmin=0となる。これは、各点(x1,y1)、(x2,y2)、(x3,y3)…(xj,yj)がすべて直線(y=ax)の上に配置されていることを示すため、相関性が非常に強いことを示す。
【０１１５】
以上の説明より、図２２に示した相関係数算出部(2213)では、図３１の式(8)に示すパラメータrとして、複素平面上の各点の分布状況を出力する。このとき、キャリア発生器(2207)(2208)で発生するキャリア(cos(2πf*t)およびsin(2πf*t))の周波数fを徐々に変化させて、rの値が最も大きくなったときに直線状の分布に最も近づいた、と判定し、そのときの周波数fがもとのサンプリング周波数fsの1/2(すなわちf=fs/2)、と判定すればよい。なお、ルート(根号)などの演算回数を減らすために、図３１の式(8)に示すパラメータrの替わりに図３１の式(9)に示すパラメータR(ただし、0≦R≦0.25)を用い、R=0(すなわちr=1)のときに各点が直線状の配置になり、R=0.25(すなわちr=0)のときに各点の配置は無相関であると判定し、Rの値が最も小さくなったときの周波数fがもとのサンプリング周波数fsの1/2(=fs/2)、と判定してもよい。なお、このパラメータrやパラメータRは、一般に相関係数と呼ばれている。
【０１１６】
続いて、図２２に示した初期位相検出部(2214)およびキャリア発生器(2215)(2216)の動作について、図３２の式を用いて説明する。まず、上述した図２６における直線(y=ax)とRe軸のなす角φは、図３１の式に示した傾きaを用いて、図３２の式(10)(11)のように表すことができる。ここで、図８、図１１、図１２に示した各キャリア発生器(803)(1105)(1106)で発生するキャリアの周波数(fs)が、図２２に示したキャリア発生器(2207)(2208)で発生するキャリアの周波数(fs/2)の2倍であることから、図８、図１１、図１２に示した基準位相(δ)と角φはδ=2φの関係となる。この関係から、初期位相検出部(2214)にて、図３２の式(12)(13)のように演算してcosδおよびsinδを生成する。これらの情報を用いて、キャリア発生器(2215)(2216)では、図３２の式(14)(15)のように演算して、サンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)を発生する。
【０１１７】
なお、図２２に示したキャリア発生器(2215)(2216)の出力(サンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ))を1フレーム内で一定とするためには、キャリア発生器(2215)(2216)の中に図示しない状態保持部を設け、キャリア発生器(2207)(2208)からの信号や、初期位相検出部(2214)からの信号がない場合にも、以前の状態(キャリアの周波数と位相)を保持して自走し、サンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)が連続するように構成するほうがよい。また、この自走期間を利用して、上述したようにキャリア発生器(2207)(2208)で発生するキャリア(cos(2πf*t)およびsin(2πf*t))の周波数fを徐々に変化させて、rの値が最も大きくなったときに直線状の分布に最も近づいた、と判定し、そのときの周波数fがもとのサンプリング周波数fsの1/2(すなわちf=fs/2)、と判定すればよい。例えば、自走期間に、1フレームの全画素を用いて、その1フレーム期間に周波数fを徐々に変化させながら周波数fと初期位相(cosφ、sinφ)を決定したのち、次の1フレームで、先ほど決定した周波数fと初期位相(cosφ、sinφ)を用いてサンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)を発生するように構成してもよい。
【０１１８】
また、図２６および図３１の式によって説明した複素平面上の各点の分布を確認する方法は一例であり、本発明はこれに限定されるものではない。例えば、図２２に示した相関係数算出部(2213)にて、一般的に知られている主成分分析技術を用い、第1主成分と第2主成分の各固有値や各寄与率の比が、大きい場合に直線状の分布に近く、小さい場合(各固有値や各寄与率が等しい場合)に無相関と判定しても同様の動作を実現できることは明らかである。また、上記では、1フレームを構成する全画素について、図２６に示す複素平面上にプロットするように説明したが、本発明はこれに限定されるものではなく、1フレームを小領域に分割して、領域ごとに各点の分布を判定し、その判定結果の多数決を1フレーム全体の判定結果としてもよい。また、1フレームを構成する全画素ではなく、画素を適宜間引いて上記判定処理を行うことにより、全体の処理量を削減してもよい。
【０１１９】
また、図３１の式および図３２の式に示した演算式は、一般的な加算器、減算器、乗算器、除算器などの演算器や、入力値と出力値(演算結果)を対応させたルックアップテーブル等を適宜組み合わせたり、信号処理プロセッサを用いてソフトウェアで記述した演算式を実行させたりすることにより実現できるため、図３１の式および図３２の式の演算を実行する装置の図示は省略する。
【０１２０】
また、アップコンバートによる拡大率が1フレーム全体で一定ならば、図２２に示したキャリア発生器(2215)(2216)の出力(サンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ))も1フレーム内で一定となる。一方、1フレームの一部の領域に、別の拡大率の画像をはめ込むようなスーパーインポーズ処理がされている場合には、はめ込まれた領域部分を判別して別処理にすることにより、それぞれのサンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)を出力するように構成してもよい。
【０１２１】
また、拡大率判定部(2221)は、周波数制御部(2218)が出力する周波数fs(=2f)と、現サンプリング周波数算出部(2220)が算出した画素数変換後の映像信号のサンプリング周波数（ｆｓ’)を用いて、アップコンバートの際の拡大率を求めることができる。上述したように、画素数をm/n倍(ただし、m、nは整数)に増加した低解像度映像が入力された場合は、画素数変換後のサンプリング周波数（ｆｓ’)との間に、fs=fs’*n/m の関係式が成り立つ。従って、拡大率m/n=fs’/fs=2fs’/fとすれば、拡大率(m/n)を検出することができる。
【０１２２】
また、上述の説明では、図２２に示したサンプリングキャリア再生部(2219)にて、1次元周波数のサンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)を出力する場合について説明したが、本発明はこれに限定されるわけではなく、BPF(2201)、π/2位相シフト器(2202)、キャリア発生器(2207)(2208)(2215)(2216)、LPF(2211)(2212)、周波数制御部(2218)のそれぞれを、水平周波数、垂直周波数、時間周波数のいずれか1つ、あるいは複数を組み合わせた周波数特性とし、変数tをx(水平画素位置)、y(垂直画素位置)、t(時間)などに置き換えれば、1次元周波数、2次元周波数、あるいは3次元周波数のサンプリングキャリアを再生することができる。このとき、(2πfs*t+δ)の部分を、(2π(μs*x+νs*y+fs*t)、ただし、μsは水平サンプリング周波数、νsは垂直サンプリング周波数、fsは時間サンプリング周波数)と置き換えればよい。
【０１２３】
また、図２２に示したサンプリングキャリア再生部(2219)を垂直周波数に適用すれば、初期位相検出部(2214)の結果(cosφ、sinφ)を用いて、アップコンバートする前の信号がプログレッシブ走査だったのか、あるいはインタレース走査だったのかを判定することができる。以下、この動作について説明する。
【０１２４】
図２７に、インタレース走査された画像信号の走査線の配置を示す。同図は、時間(t)-垂直(y)の2次元空間において、伝送される走査線(2701)と、飛び越されて伝送されない走査線(2702)の位置が、偶数フィールド(2703)と奇数フィールド(2704)で交互に入れ替わっている様子を示している。このとき、偶数フィールド(2703)では、伝送される走査線(2701)のサンプリング位相(2705)は「0」になり、伝送されない走査線(2702)のサンプリング位相(2705)は「π」となる。一方、奇数フィールド(2704)では、伝送される走査線(2701)のサンプリング位相(2705)は「π」になり、伝送されない走査線(2702)のサンプリング位相(2705)は「0」となる。すなわち、偶数フィールド(2703)と奇数フィールド(2704)の垂直方向のサンプリング位相(2705)の差は、常に「π」となる。
【０１２５】
図３に示したように、サンプリング位相が異なる2つの信号では、原成分(301)(302)は、同図(b)のように位相が常に一致する。一方、折返し成分(305)(306)は、同図(c)のようにサンプリング位相の差θ(202)に応じて位相が変化する。
【０１２６】
すなわち、インタレース走査された画像信号は、原信号の位相が一定(0)であるのに対し、折返し成分の位相は(0、π、0、π…)とフィールドごとに変化することになる。これは、図２２に示したサンプリングキャリア再生部(2219)から出力されたサンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)の位相δが、フィールドごとに(δ、(δ+π)、δ、(δ+π)…)と変化することを意味する。このように、インタレース走査によって生じたサンプリングキャリア位相δのフィールドごとの変化は、画像信号をアップコンバートしても、そのまま維持される。例えば、480i(インタレース)から1080p(プログレッシブ)に変換した後の画像信号でも、位相δはフィールドごとに(δ、(δ+π)、δ、(δ+π)…)と変化する。
【０１２７】
一方、最初からプログレッシブ走査された画像信号では、伝送される走査線の位置はフィールド(フレーム)によらず常に一定であるため、図２２に示したサンプリングキャリア再生部(2219)から出力されたサンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)の位相δも常に一定の値になる。
【０１２８】
従って、上述した位相δのフィールドあるいはフレームごとの変化を見れば、アップコンバートする前の信号がプログレッシブ走査だったのか、あるいはインタレース走査だったのかを判定することができる。すなわち、インタレース走査では、サンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)の位相δがフィールドごとに(δ、(δ+π)、δ、(δ+π)…)と変化することを利用して、現フレームのサンプリングキャリアと1フレーム前のサンプリングキャリアとの間で極性(正負)が反転したかどうかを観測し、反転しなければプログレッシブ走査、反転すればインタレース走査、と判定すればよい。
【０１２９】
同様に、fs/2(=f)のキャリア周波数成分に対して処理する相関係数算出部(2213)および初期位相検出部(2214)の出力を用いて、プログレッシブ走査かインタレース走査を判定することもできる。以下、その動作を詳しく説明する。
【０１３０】
図２８に、もともとプログレッシブ走査の画像信号が入力された場合の、相関係数算出部(2213)の動作を示す。このとき、(a)(n-1)番目のフレームと(b)n番目のフレームの間で、垂直方向のサンプリング位相は変化しないので、複素平面上の各点位置は変化しても、上述した直線(回帰直線)の傾きaはフレーム間で大きく変化せず、Re軸と直線のなす角φはほぼ一定(φ(n)≒φ(n-1))となる。
【０１３１】
一方、もともとインタレース走査の画像信号が、アップコンバートによりプログレッシブ走査に変換された場合は、図２９に示すように、(a)(n-1)番目のフレームと(b)n番目のフレームの間で、直線(回帰直線)の傾きaはフレーム間で大きく変化することになる。このとき、上述したように、サンプリングキャリアcos(2πfs*t+δ)およびsin(2πfs*t+δ)の位相δがフィールドごとに(δ、(δ+π)、δ、(δ+π)…)と変化するため、その1/2の角度であるφは、フレームごとにほぼ±π/2ずつ変化 (φ(n)≒φ(n-1)±π/2)することになる。従って、φ(n-1)とφ(n)の位相の変化量を調べれば、アップコンバートする前の信号がプログレッシブ走査だったのか、あるいはインタレース走査だったのかを判定することができる。
【０１３２】
図３０に、プログレッシブ/インタレース判定部(3001)の構成例を示す。まず、上述した図２２に示した初期位相検出部(2214)で求めた初期位相(cosφ、sinφ)を、図３０のフレーム遅延器(3002)(3003)にてそれぞれ遅延させたのち、乗算器(3004)(3005)を用いて各遅延前の信号と乗算し、加算器(3006)にてそれぞれを加算する。これにより、現在のフレームの初期位相(cosφ(n)、sinφ(n))と1フレーム前の初期位相(cosφ(n-1)、sinφ(n-1))の内積値(=cosφ(n)*cosφ(n-1)+sinφ(n)*sinφ(n-1))を求めたことになる。内積値の極性(正負)には意味がないため、絶対値演算器(3007)によって内積値の絶対値を算出したのちに、ノイズ等の影響を除くため、平均演算器(3008)によって複数の画素(例えば1フレームの全画素)の上記内積値の平均を求め、比較判定器(3010)によってしきい値(3009)と比較し、プログレッシブ/インタレース判定結果とする。このとき、図２８および図２９によって説明したとおり、アップコンバートする前の信号がプログレッシブ走査であれば、初期位相φはフレームごとにほぼ一定なので、内積値の平均は1に近い値になる。一方、アップコンバートする前の信号がインタレース走査であれば、初期位相φはフレームごとに直交するので、内積値の平均は0に近い値になる。従って、しきい値(8108)を約0.7(=cos(π/4))に設定し、内積値の絶対値の平均がそのしきい値よりも大きければプログレッシブ走査、内積値の絶対値の平均がしきい値よりも小さければインタレース走査、と判定すればよい。
【０１３３】
以上説明した実施例５に係る画像信号処理装置は、アップコンバートされた映像信号から、アップコンバートする前の信号のサンプリング周波数(すなわち画素数)、サンプリング位相、およびアップコンバートの際の拡大率を求めることができるようになる。また、アップコンバート前の映像信号の走査形態(プログレッシブ/インタレース)を判定できるようになる。この判定結果を利用し、アップコンバート前の映像信号の走査形態(プログレッシブ/インタレース)に応じて、画像信号処理の内容を変更してもよい。例えば、アップコンバート前の映像信号がインタレース走査の場合だけ、あるいはプログレッシブ走査の場合だけに限定して、高解像度化処理を実施してもよい。
【実施例６】
【０１３４】
本発明の実施例６に係る画像信号処理装置は、実施例１または実施例３の画像信号処理装置(図１)の構成の一部を図２２に示すサンプリングキャリア再生部(2218)に置き換えたものである。具体的には、周波数変換(104)のうち、図８に示すキャリア発生器(803)または図１１に示すキャリア発生器(1105)(1106)をサンプリングキャリア再生部(2218)に置き換える。
【０１３５】
実施例１または実施例３では図１の画像信号処理装置に入力されるか、記憶部(108)に記憶されていた基準位相(δ)を用いてサンプリングキャリアを発生させていた。これに対し、実施例６に係る画像信号処理装置では、図２２に示すサンプリングキャリア再生部(2218)に映像信号を入力して、サンプリングキャリア再生部(2218)が生成したサンプリングキャリアを周波数変換(104)で用いることができる。周波数変換(104)で用いる拡大率(m/n)も、サンプリングキャリア再生部(2218)が生成した拡大率(m/n)を用いればよい。
【０１３６】
実施例６の画像信号処理装置のその他の構成は、実施例１または実施例３の画像信号処理装置と同様であり、実施例１または実施例３に記載したとおりである。図２２のサンプリングキャリア再生部(2218)の構成は実施例５で説明したとおりである。よって、これらの説明は省略する。
【０１３７】
以上説明した実施例６に係る画像信号処理装置によれば、外部から基準位相(δ)や拡大率(m/n)を入力しなくとも、事前に画素数変換された画像信号がに対しても、好適な高解像度化が実現できるという効果を得ることができる。
【０１３８】
また、予め所定の基準位相(δ)や拡大率(m/n)を記憶部に記憶しなくとも、事前に画素数変換された画像信号に対しても、好適な高解像度化が実現できるという効果を得ることができる。
【０１３９】
これにより、例えば、放送局などの送信装置で、様々な基準位相(δ)や拡大率(m/n)で事前にアップコンバートされた複数種類の映像を受信して入力した場合でも、基準位相(δ)や拡大率(m/n)の入力や設定などを行わなくとも、それぞれの映像に適した好適な高解像度化が実現できる。
【実施例７】
【０１４０】
本発明の実施例７に係る画像信号処理装置は、実施例２の画像信号処理装置(図１２)の構成の一部を図２２に示すサンプリングキャリア再生部(2218)に置き換えたものである。具体的には、周波数変換(104)のうち、キャリア発生器(1105)(1106)をサンプリングキャリア再生部(2218)に置き換える。すなわち、実施例６と同様に、図２２に示すサンプリングキャリア再生部(2218)に映像信号を入力して、サンプリングキャリア再生部(2218)が生成したサンプリングキャリアを周波数変換(104)で用いる。周波数変換(104)で用いる拡大率(m/n)も、サンプリングキャリア再生部(2218)が生成した拡大率(m/n)を用いる。
【０１４１】
実施例７の画像信号処理装置のその他の構成は、実施例２及び実施例５で説明したとおりである。よって、これらの説明は省略する。
【０１４２】
以上説明した実施例７に係る画像信号処理装置によれば、外部から基準位相(δ)や拡大率(m/n)を入力しない場合でも、予め所定の基準位相(δ)や拡大率(m/n)を記憶部に記憶しない場合でも、実施例２同様の効果を得ることができる。
【０１４３】
これにより、例えば、放送局などの送信装置で、様々な基準位相(δ)や拡大率(m/n)で事前にアップコンバートされた複数種類の映像を受信して入力した場合でも、基準位相(δ)や拡大率(m/n)の入力や設定などを行わなくとも、それぞれの映像に適した好適な高解像度化が実現できる。
【実施例８】
【０１４４】
本発明の実施例８に係る画像信号処理装置は、実施例４の画像信号処理装置(図２１)の構成の一部を図２２に示すサンプリングキャリア再生部(2218)に置き換えたものである。具体的には、高域成分再生部(106)の周波数変換(104)のうち、キャリア発生器(1105)(1106)をサンプリングキャリア再生部(2218)に置き換える。すなわち、実施例７と同様に、図２２に示すサンプリングキャリア再生部(2218)に映像信号を入力して、サンプリングキャリア再生部(2218)が生成したサンプリングキャリアを周波数変換(104)で用いる。周波数変換(104)で用いる拡大率(m/n)も、サンプリングキャリア再生部(2218)が生成した拡大率(m/n)を用いる。
【０１４５】
実施例８の画像信号処理装置のその他の構成は、実施例４及び実施例５で説明したとおりである。よって、これらの説明は省略する。
【０１４６】
以上説明した実施例７に係る画像信号処理装置によれば、外部から基準位相(δ)や拡大率(m/n)を入力しない場合でも、予め所定の基準位相(δ)や拡大率(m/n)を記憶部に記憶しない場合でも、実施例４同様の効果を得ることができる。
【０１４７】
これにより、例えば、放送局などの送信装置で、様々な基準位相(δ)や拡大率(m/n)で事前にアップコンバートされた複数種類の映像を受信して入力した場合でも、基準位相(δ)や拡大率(m/n)の入力や設定などを行わなくとも、それぞれの映像に適した好適な高解像度化が実現できる。
【０１４８】
なお、本発明の各実施例は、上記実施例で説明した装置以外に、例えば、ＤＶＤプレーヤー、磁気ディスクプレーヤー、もしくは半導体メモリプレーヤーにも同様に適用できる。また例えば、１セグ放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できる。
【０１４９】
また画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。また、例えば、インターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像の画像フレームを用いてもよい。
【０１５０】
また、上述した各実施例ではフレーム単位での高解像度化を例に挙げて説明した。しかし高解像度化の対象は、必ずしもフレーム全体でなくとも良い。例えば、入力画像または入力映像のフレームの一部分を解像度化の対象としても良い。すなわち、入力映像のフレームの一部分を対象として上述した本発明の一の実施例の画像処理を実施すれば、入力画像または入力映像の一部分の高画質な拡大画像を得ることができる。これは、例えば、映像の一部分の拡大表示などに適用できる。
【０１５１】
上述した本発明の各実施例によれば、低解像度の画像を好適に高解像度に変換する処理を行うことができ、高画質な高解像度画像を好適に得ることができる。
【図面の簡単な説明】
【０１５２】
【図１】本発明の実施例１に係る構成の説明図である。
【図２】本発明の実施例１に係る構成の説明図である。
【図３】本発明の実施例１に係る動作の説明図である。
【図４】従来技術の解像度変換処理の説明図である。
【図５】従来技術の解像度変換処理の説明図である。
【図６】従来技術の解像度変換処理の説明図である。
【図７】本発明の実施例１に係る動作の説明図である。
【図８】本発明の実施例１に係る構成の説明図である。
【図９】本発明の実施例１に係る動作の説明図である。
【図１０】本発明の実施例１に係る動作の説明図である。
【図１１】本発明の実施例１に係る別構成の説明図である。
【図１２】本発明の実施例２に係る構成の説明図である。
【図１３】本発明の実施例１に係る動作の説明図である。
【図１４】本発明の実施例２に係る動作の説明図である。
【図１５】本発明の実施例２に係る動作の説明図である。
【図１６】本発明の実施例２に係る動作の説明図である。
【図１７】従来技術の動作の説明図である。
【図１８】本発明の実施例３に係る動作の説明図である。
【図１９】本発明の実施例４に係る動作の説明図である。
【図２０】本発明の実施例３に係る構成の説明図である。
【図２１】本発明の実施例４に係る構成の説明図である。
【図２２】本発明の実施例５に係る構成の説明図である。
【図２３】本発明の実施例５に係る動作の説明図である。
【図２４】本発明の実施例５に係る動作の説明図である。
【図２５】本発明の実施例５に係る動作の説明図である。
【図２６】本発明の実施例５に係る動作の説明図である。
【図２７】本発明の実施例５に係る動作の説明図である。
【図２８】本発明の実施例５に係る動作の説明図である。
【図２９】本発明の実施例５に係る動作の説明図である。
【図３０】本発明の実施例５に係る構成の説明図である。
【図３１】本発明の実施例５に係る動作の説明図である。
【図３２】本発明の実施例５に係る動作の説明図である。
【符号の説明】
【０１５３】
1,5…入力部;2,4…解像度変換部;3…表示部;101,2014…原成分抽出部;102,2210…減算器;103,1203,1210,2111,2112…折返し成分抽出部;104,2217…周波数変換部;105,214,1104,1208,1215,2010,2105,2110,2209,3006…加算器;106…高域成分再生部;107…画素数変換部;108…記憶部;201,2002,2004…位置推定部;202,1202,2011,2012…位相差;203,204…アップレート器;205,207,2001…遅延器;206,208,1101,2202…π/2位相シフト器;209,1209,1216,2006,2101,2106…係数決定器;210,211,212,213,801,1102,1103,1204,1205,1206,1207,1211,1212,1213,1214,2007,2008,2009,2102,2103,2104,2107,2108,2109,2203,2204,2205,2206,3004,3005…乗算器;216…位相シフト部;217,2013…折返し成分除去部;301,302,1701,1702,1703…原成分;303,304…π/2位相シフト後の原成分;305,306,307,308,1704,1705,1706…折返し成分;401…HDカメラ;402…SDカメラ;403…SD→HD変換器;404…切替器;405…伝送路;501…アップレート器;502,802,2211,2212…ローパスフィルタ;503…ダウンレート器;601…サンプリングキャリア;6022…ローパスフィルタ(LPF)の通過帯域;803,1105,1106,2207,2208,2215,2216…キャリア発生器;1001,1002…画素;1201,2003,2005…動き補償部;1601,1602,1603,1604,1605,1606,1607,1801,1802,1803,1901,1902,1903,1904…係数; 2201…バンドパスフィルタ(BPF)；2213…相関係数算出部；2214…初期位相検出部；2218…サンプリングキャリア再生部；2219…サンプリング周波数算出部；2220…現サンプリング周波数算出部；2221…拡大率判定部； 2701,2702…走査線；2703,2704…フィールド；2705…サンプリング位相；3001…プログレッシブ/インタレース判定部；3002,3003…フレーム遅延器；3007…絶対値演算器；3008…平均演算器；3009…しきい値；3010…比較判定器；
【図１】
2010062882.tif 000003
【図２】
2010062882.tif 000004
【図３】
2010062882.tif 000005
【図４】
2010062882.tif 000006
【図５】
2010062882.tif 000007
【図６】
2010062882.tif 000008
【図７】
2010062882.tif 000009
【図８】
2010062882.tif 000010
【図９】
2010062882.tif 000011
【図１０】
2010062882.tif 000012
【図１１】
2010062882.tif 000013
【図１２】
2010062882.tif 000014
【図１３】
2010062882.tif 000015
【図１４】
2010062882.tif 000016
【図１５】
2010062882.tif 000017
【図１６】
2010062882.tif 000018
【図１７】
2010062882.tif 000019
【図１８】
2010062882.tif 000020
【図１９】
2010062882.tif 000021
【図２０】
2010062882.tif 000022
【図２１】
2010062882.tif 000023
【図２２】
2010062882.tif 000024
【図２３】
2010062882.tif 000025
【図２４】
2010062882.tif 000026
【図２５】
2010062882.tif 000027
【図２６】
2010062882.tif 000028
【図２７】
2010062882.tif 000029
【図２８】
2010062882.tif 000030
【図２９】
2010062882.tif 000031
【図３０】
2010062882.tif 000032
【図３１】
2010062882.tif 000033
【図３２】
2010062882.tif 000034