(57)【特許請求の範囲】
【請求項１】
インタレース映像における１つのフィールド映像信号から１つのプログレッシブ映像信号を生成する映像処理装置であって、
入力したフィールド映像信号の各ラインの映像信号にフィルタリング処理を施すことにより空間的低周波成分データを生成し、前記フィールド映像信号の各ラインの映像信号から当該空間的低周波成分データを減じることで、高周波成分データを生成するフィルタ手段と、
該フィルタ手段で得られた、隣接する２ライン分の空間的低周波成分データの平均値を算出して１ライン分の平均化低周波成分データを出力する算出手段と、
前記フィルタ手段で得られた空間的高周波成分データのラインと、前記算出手段で算出した平均化低周波成分データのラインとを交互に並べることで、プログレッシブ映像信号を生成する生成手段と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記フィルタ手段は、２次元空間フィルタであり、当該２次元空間フィルタの垂直方向の距離定数は、水平方向の１／２倍であることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記フィルタ手段は、水平方向の１次元フィルタであることを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記フィルタ手段は、入力したフィールド映像信号の各ラインの映像信号から、空間的低周波成分データの１／２を減じることで、前記高周波成分データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
インタレース映像における１つのフィールド映像信号から１つのプログレッシブ映像信号を生成する映像処理装置の制御方法であって、
入力したフィールド映像信号の各ラインの映像信号にフィルタリング処理を施すことにより空間的低周波成分データを生成し、前記フィールド映像信号の各ラインの映像信号から当該空間的低周波成分データを減じることで、高周波成分データを生成するフィルタ工程と、
該フィルタ工程で得られた、隣接する２ライン分の空間的低周波成分データの平均値を算出して１ライン分の平均化低周波成分データを出力する算出工程と、
前記フィルタ工程で得られた空間的高周波成分データのラインと、前記算出工程で算出した平均化低周波成分データのラインとを交互に並べることで、プログレッシブ映像信号を生成する生成工程と、
を備えることを特徴とする映像処理装置の制御方法。
【請求項６】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至４のいずれか１項に記載の映像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース映像信号をプログレッシブ映像信号に変換する技術に関するものである。
【背景技術】
【０００２】
従来より、映像信号の多くはインターレース画像、すなわちラインを飛び越し走査することによって表示することを前提とした映像である。このインターレース画像は、ラインフリッカーが分かる、またＹ方向の成分がラインの整数倍になうような速度で視線を移動すると、ラインの欠落が分かるなど、インターレース妨害が発生し画質が劣化する。
【０００３】
これを、解消するために、インターレース画像をプログレッシブ画像に変換（以下、ＩＰ変換と称す）して順次走査にする技術や商品が多く発表されている。
【０００４】
従来ＩＰ変換には、主として動き適応型と動き補償型がある。動き適応型ＩＰ変換は、映像を動きがあるかないかを判別し、動きがある場合は、フィールド内処理により、欠落したラインを補間する。動きがない場合は、フィールド間処理、により欠落したラインを補完する。
【０００５】
このフィールド内処理により欠落ラインを補完する手法には、例えば上または下のラインと同じデータをそのまま当てはめる方法、上下のラインの平均値を当てはめる方法などがある。また、前または後ろのフィールドの同一番目のアドレスを、そのままあてはめる、又は、その平均化して当てはめるなどの方法もある。なお、動きの有無の判別は、画像全体で判別する場合もあれば領域ごとに判別する場合もある。
【０００６】
一方、動き補償形ＩＰ変換においては、動きの有無にかかわらず、欠落したラインは常に、フィールド間処理によって補完される（特許文献１）。この場合は、映像の動きベクトルを検出して、前後のフィールドから、それらに挟まれた当該フィールドの画像を予測し、その予測に基づいて、当該フィールドの欠落ラインを補間する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１１２８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
動き適応型ＩＰ変換においては、動きがあるときに、上下のラインから欠落ラインを補間することによる画像の縦方向の解像度が低下することが多い。また、斜めのエッジ部がスムーズでなくなるなどの問題もある。また、動き補償形ＩＰ変換においては、まず計算規模が膨大になる、あるいは動きベクトルを算出する際に誤りが発生することが多いなどの問題もある。
【０００９】
本発明はかかる課題に鑑みなされたものであり、フィールド内処理でなおかつ、エッジの部分がインターレース画像に対して劣化することなく、インタレース映像信号をプログレッシブ映像信号に変換する技術を提供しようとするものである。
【課題を解決するための手段】
【００１０】
この課題を解決するため、例えば本発明の映像処理装置は以下の構成を備える。すなわち、
インタレース映像における１つのフィールド映像信号から１つのプログレッシブ映像信号を生成する映像処理装置であって、
入力したフィールド映像信号の各ラインの映像信号にフィルタリング処理を施すことにより空間的低周波成分データを生成し、前記フィールド映像信号の各ラインの映像信号から当該空間的低周波成分データを減じることで、高周波成分データを生成するフィルタ手段と、
該フィルタ手段で得られた、隣接する２ライン分の空間的低周波成分データの平均値を算出して１ライン分の平均化低周波成分データを出力する算出手段と、
前記フィルタ手段で得られた空間的高周波成分データのラインと、前記算出手段で算出した平均化低周波成分データのラインとを交互に並べることで、プログレッシブ映像信号を生成する生成手段とを備える。
【発明の効果】
【００１１】
本発明によれば、フィールド内処理で、なおかつ、エッジの部分がインターレース画像に対して劣化することなく、インタレース映像信号をプログレッシブ映像信号に変換することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の映像処理装置のブロック構成図。
【図２】従来方法でＩＰ変換したときのデータの配列を表す図。
【図３】実施形態のＩＰ変換したときのデータ配列を表す図。
【図４】インタレースのodd画像とeven画像の例を現す図。
【図５】従来方法でＩＰ変換したときのodd画像とeven画像の例を表す図。
【図６】実施形態におけるＩＰ変換したときのodd画像とeven画像の例を示す図。
【図７】第１の実施形態における処理手順を示すフローチャート。
【図８】、
【図９】第２の実施形態における処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面に従って本発明に係る実施形態の映像処理装置を詳細に説明する。
【００１４】
本実施形態においては、入力されるインターレース画像をフレーム内処理によってＩＰ変換する方法を提案する。本実施形態においては、１フィールド映像信号ごとに非欠落ラインの空間周波数低周波成分を上下の欠落ラインに分けることにより、非欠落ラインのデータを高周波強調データ（正確には低周波抑圧データ）とする。そして、欠落ラインは、上下の非欠落ラインから移動した空間的低周波成分により高周波抑圧データとする。これにより、エッジ部分など高周波成分が支配する部分では、インターレース画像に近い特性であり、エッジでない部分では、欠落ラインを上下の非欠落ラインの平均値にして、全体のレベルを半分にした場合の画像に近い特性をもたせる。
【００１５】
説明を簡単なものとするため、処理対象となるインタレース画像の入力源は、ビデオカメラ、ＤＶＤ再生機等からのデジタルのインタレース映像信号と想定するが、その入力源の種類は問わない。そして、本実施形態の装置に入力されるインターレース画像（フィールド画像）をＡとする。インタレース画像Ａの非欠落ラインのみから構成される画像をA_int、特にoddの場合のA_intをA_odd、evenの場合のA_intをA_evenと表現する。フィルタリングによって生成した空間的高周波成分をそれぞれH_odd,H_evenとする。同様にフィルタリングによって生成した低周波成分をそれぞれL_odd,L_even、さらに、フィルタ処理と減算処理した結果で非欠落ラインに対応するデータをSH_odd,SH_even 欠落ラインに対応するデータをSL_odd,SL_evenとする。非欠落ラインに対応するデータと欠落ラインに対応するデータを１ラインごとに交互に並べて合成した画像をA_prg_odd、A_prg_evenとする。またA_prg_oddA、prg_evenが時間的に交互にならんだ画像(すなわちプログレッシブ画像を)A_prgと表現する。例えば、対象として1920*1080画素の映像を扱う場合、 A_int、A_odd、A_even、H_odd、H_even、L_odd、L_even、SH_odd、SH_even、SL_odd、SL_evenはいずれも1920*540の二次元配列データであり、A_prg_odd、A_prg_even、A_prgはいずれも1920*1080の二次元配列データである。
【００１６】
図１において、フィールドバッファ１は、１フィールド映像信号（インタレース画像）A_intを格納する容量を有する。スイッチ２、３は、不図示の制御信号に基づき、フィールド時間ごとに、odd、evenを切り替える。なお、スイッチ２が端子oddに接続している最中は、スイッチ６は端子evenに接続する。逆に、スイッチ２が端子evenに接続している最中は、スイッチ６は端子oddに接続する。Ｏｄｄフィールド処理部１０１は、奇数フィールドA_oddから、プログレッシブ画像を生成する。Ｅｖｅｎフィールド処理部１０２は、偶数フィールドA_evenから、プログレッシブ画像を生成する。Ｏｄｄフィールド処理部１０１とＥｖｅｎフィールド処理部１０２は共に同様の構成であるので、図示では、Ｅｖｅｎフィールド処理部１０２の構成は示していない。
【００１７】
Ｏｄｄフィールド処理部１０１におけるフィルタ部３は、入力したインタレース画像A_intを空間的低周波成分データと空間的高周波数成分データに分けて、出力する。ライン平均化部４は、フィールドデータの隣接ライン（プログレッシブデータとしては隣々接ライン）を平均化するブロックである。合成部５は、内部にフレームメモリ５ａを有し、非欠落ライン用データと欠落ライン用データを１ラインごとに交互に並べて記憶することで、プログレッシブの１フレームデータを作成する。１プログレッシブフレームデータが作成が完了すると、スイッチ６が端子oddに切り換われるので、合成部５はフレーム５ａに格納されたフレームデータを出力する。なお、このとき、スイッチ２は端子evenに切り換わり、Ｅｖｅｎフィールド処理部１０２による１プログレッシブフレームデータの作成処理が開始されることになる。
【００１８】
以下、Ｏｄｄフィールド処理部１０１の処理を更に詳しく説明する。入力されたインターレース画像A_intは、oddのタイミングにおいてはスイッチ２に図１のようにodd側のパスに信号伝達される。Ｏｄｄフィールド処理部１０１におけるフィルタ部３は、インターレース画像A_oddに、ＬＰＦ７によるフィルタリング処理を施すことにより低周波成分Ｌ_oddを算出し、出力する。
L_odd = LPF( A_odd )    …式１-１
【００１９】
ＬＰＦ７のフィルタリング処理で用いる２次元空間フィルタは、特にその関数を規定するものではないが、例えばガウス関数などがよい。ただしA_oddは非欠落ラインのみで構成されたデータなので、画像データとしてはＹ方向（垂直方向）に1/2に 縮めた画像となっている。このため、ＬＰＦ７の距離定数は、Ｙ方向のみ、本来の距離定数の１／２倍する必要がある、したがって、ガウス関数を用いる場合は、
σx＝σ、σy＝σ/2      …式１−２
とする必要がある。
【００２０】
また、フィルタ部３における減算器８は、次式のように非欠落ラインに対応するデータを算出する。
ＳＨ_odd = A_odd − L_odd/2      …式１−３
【００２１】
そして、ライン平均化部４は、ライン遅延部９によって１ライン分遅延させた１ラインだけ上（プログレッシブデータとしては２ライン上）のラインの画素データと、フィルタ部３からのＬ_odd 1で示されるラインの画素データの平均を算出する。この算出は、加算器１０及び１／２乗算器１１によって行われる。すなわち、加算器１０は、２ライン分の水平方向に同じ位置の画素データどうしを加算し、１／２乗算器１１はその加算結果を１／２にすることで、平均化低周波成分データを算出できる。かかる点を、明確に示すのであれば、ライン平均化部４は、次式に従って、欠落ライン（プログレッシブデータのＬ_oddの１つ上のラインのデータ）を算出していることに他ならない。
ＳＬ_odd＝( Ｌ_odd + L_odd（1ラインシフト）) / 2      …式１−４
【００２２】
合成部５は、非欠落ライン用データSH_oddと、欠落ライン用データSL_oddを交互に、内部のフレームメモリ５ａに格納していく。この結果、フレームメモリ５ａには、プログレッシブデータA_prg_oddが生成されることになる。なお、Ｅｖｅｎフィールド処理部１０２は、Ｏｄｄフィールド処理部１０１と同様の処理を行なう。但し、Ｅｖｅｎフィールド処理部１０２内の合成部（不図示）のフレームメモリに格納するSH_oddと、SL_oddの順序は、Ｏｄｄフィールド処理部１０１の合成部５のそれとは逆になる。スイッチ６は、先に説明したように、プログレッシブデータの作成が完了している方を選択し、そのプログレッシブデータを出力することになる。この結果、スイッチ６からは、A_prg_oddとA_prg_evenが時間的に交互に並んだプログレッシブ画像A_prgが出力される。
【００２３】
ここで、従来方法のＩＰ変換例を図２、本実施形態のＩＰ変換例を図３に示す。また、図４は、インターレースのodd画像とeven画像の様子を現し、図５は従来方法でＩＰ変換したときのodd画像とeven画像の様子を、図６は本実施形態の方法でＩＰ変換したときのodd画像とeven画像の様子を表している。図５と図６との比較からもわかるように、従来はエッジ部分はボケた状態であったの対し、本実施形態の処理ではエッジ部分の高周波成分が維持され、インターレース画像に対する劣化を少ないものとすることがでているのがわかる。
【００２４】
次に、本実施形態における２フィールド入力から２フレームの生成までの処理手順を図７のフローチャートに従って説明する。なお、基本的に同図のフローチャートにかかる処理は、ユーザから停止指示があった場合や、変換対象のフィールド画像がなくなるまで繰り返されることになる。
【００２５】
ステップS101からS105まではＯｄｄフィールド処理部１０１の処理に対応し、ステップS106からS110まではＥｖｅｎフィールド処理部１０２の処理に対応する。
【００２６】
先ず、入力画像のoddフィールドA_oddを、フィールドバッファ１に格納する(S101)。次いで、ＬＰＦ７がoddフィールドに対して２次元フィルタ処理を行うことにより、低周波成分データＬ_odd（空間的高周波成分データを除去した画像データ）を算出する（S102)。次いで、A_oddとL_oddからSH_oddを算出し、A_prgの奇数行のデータとしてフレームメモリ５ａの該奇数行に対応するアドレス位置に書き込む（S103)。次いで、A_oddとL_oddからSL_oddを算出し、A_prg の偶数行のデータとしてフレームメモリ５ａの該偶数行に対応するアドレス位置に書き込む。この後、フレームメモリ５ａに格納された画像データをプログレッシブ画像の１フレームとし、その外部（表示装置等）への出力を開始する。
【００２７】
上記のＯｄｄフィールド処理部１０１による外部への出力を行なっている最中、Ｅｖｅｎフィールド処理部１０２はＯｄｄフィールド処理部１０１と同様に、evenフィールドに基づく、プログレッシブ画像の１フレームデータの生成処理を行なうことになる。
【００２８】
具体的には、入力画像のevenフィールドA_evenをフィールドメモリ１に格納する(S106)。次いで、A_evenに２次元フィルタ処理（ＬＰＦ）を行うことによりＬ_evenを算出する(S107)。この後、A_evenとL_evenからSH_evenを算出し、A_prgの偶数行のデータとして、Ｅｖｅｎフィールド処理部１０２の合成部が有するフレームメモリ５ａの該偶数行に対応するアドレス位置に書き込む(S108)。次いで、A_oddとL_oddからSL_oddを算出し、A_prg の偶数行のデータとして、フレームメモリの該偶数行に対応するアドレス位置に書き込む(S109)。この後、フレームバッファに格納された画像データをプログレッシブ画像の１フレームとし、その外部への出力を開始する。
【００２９】
以上説明したように本実施形態によれば、フィールド内処理でなおかつ、エッジ部分は、インターレース画像よりも劣化することなく、なおかつＹ方向の解像度を落とすことなくＩＰ変換することができる。
【００３０】
なお、実施形態では、図１の構成では、Ｏｄｄフィールド処理部１０１とＥｖｅｎフィールド処理部１０２の２つを有するものとして説明した。しかしながら、これらの異なるのはフレームメモリ５ａへの格納順だけであるので、合成部５が入力したフィールドが奇数か偶数かを判別して、それに応じて格納順を変えるのであれば、フィールド処理部は１つでも構わない。
【００３１】
また、図１の構成に、入力されたインターレース画像に動きがあるか否かを判定する動き検出器を設け、この動き検出器で動き有りと判定した場合に上記実施形態の処理が行われ、動き無しと判定された場合には従来術と同様に処理するようにしても良い。
【００３２】
［第２の実施形態］
上記第１の実施形態では、ＬＰＦ７が用いる空間フィルタが２次元フィルタであるものとして説明した。このようにすることによりＩＰ変換してもインターレース画像のＹ方向の解像度を維持することができる。しかしながら、この場合、水平なエッジ（Ｙ方向に直角なエッジない直線におけるラインフリッカーは残ってしまう。そこで、本第２の実施形態では、Ｙ方向の解像度は従来の方法と同じにしたまま、ラインフリッカーを抑制し、かつ、斜めのエッジはインターレースの滑らかさを維持する方法を説明する。
【００３３】
本実施形態はでは、第２実施形態における２次元フィルタの代わりに１次元フィルタを用いる。例えばガウス関数を用いる場合は、σｘ＝σのみで定義される、Ｘ方向のみのＬＰＦとする。それ以外の計算処理方法は第１の実施形態と同一である。このようにすることにより、ラインフリッカーを抑制しつつ、本第２の実施形態の意図することを実現できる。また、本第２の実施形態によれば、計算処理はフィールド内ではなく、ライン単位で行うことができ、起算規模はさらに小さくすることもできる。
【００３４】
本第２の実施形態の装置は、ＬＰＦ７が一次元フィルタを用いる点を除き、第１の実施形態と実質的に同じであるので、装置の構成の説明は省略する。以下、本第２の実施形態の２フィールド入力から２フレームの生成までの処理手順を、図８、図９に従って説明する。
【００３５】
先ず、入力画像のoddフィールド(A_odd)をフィールドメモリ１に格納する(S201)。このとき、以下に説明する変数ｙoを“１”で初期化しておく。この後、ｙo行目のA_oddデータをフィールドメモリ１から読み込み(S202)、yo行目のL_oddをd算出する（S203)。なお、算出したL_oddは、この時点で１ライン遅延部９に格納されることになる。次いで、yo行目に対応するSH_oddを減算器８により計算、プログレッシブ画像（A_prg）の2*y0+1行目のデータとしてフレームメモリ５ａに書き込む(S204)。また、加算器１０、１／２乗算器１１により、yo行目に対応するSL_oddを計算し、プログレッシブ画像（A_prg）の2*yo行目のデータとしてフレームメモリ５ａに書き込む(S205)。そして、変数ｙoが５４０以上の値になったか否か、すなわち、入力したフィールドの全ラインに対する処理を終えたか否かを判断する(S207)。否の場合には、変数ｙoを“１”だけ増加させ、ステップＳ202以降の処理を繰り返す。また、ステップS207の判定が“Yes”となった場合、フレームメモリ５ａには、プログレッシブ画像の１フレームが格納されたことになるので、外部へ出力を開始する(S209)。
【００３６】
上記がＯｄｄフィールド処理部１０１の処理となる。次いで、Ｅｖｅｎフィールド処理部１０２を行なうが、その処理であるS210乃至S218は、S201乃至S209と実質的に同じである。ただし、入力画像のフィールド内ライン番号と出力されるプログレッシブ画像のライン番号の対応関係は、Ｏｄｄフィールド処理部１０１の処理と異なる。
【００３７】
以上説明したように本第２の実施形態によれば、垂直方向の解像度は従来の方法と同じにしたまま、ラインフリッカーを抑制し、かつ、斜めのエッジはインターレースの滑らかさを維持することが可能になる。
【００３８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３９】
また、実施形態では、インタレース映像信号からプログレッシブ映像信号に変換した場合の変換後の出力先を表示装置であるとして説明したが、変換後の映像信号を電子ファイルとして記憶保存しても構わない。
【図１】
0005462592.tif 000002
【図２】
0005462592.tif 000003
【図３】
0005462592.tif 000004
【図７】
0005462592.tif 000005
【図８】
0005462592.tif 000006
【図９】
0005462592.tif 000007
【図４】
0005462592.tif 000008
【図５】
0005462592.tif 000009
【図６】
0005462592.tif 000010