(57)【要約】【課題】  簡略な構成で十分な画質を得ることができる画像処理装置および画像信号変換方法を提供する。【解決手段】  周波数成分抽出部（１０２）は、一方のフィールドにおける垂直方向の複数画素値を周波数領域へ変換し、ライン推定部１０３は周波数成分を空間領域に逆変換することで画素値の変化状態を検出し、この画素値変化状態に基づいて他方のフィールドの画素値を推定する。合成部１０４は推定された他方のフィールドの画素値と一方のフィールドの画素値とを合成することでプログレッシブ信号を合成する。【選択図】      図１
2007074457.tif 000002
【特許請求の範囲】
【請求項１】
インターレース信号からプログレッシブ信号を生成する画像処理装置において、
前記インターレース信号の一方のフィールドにおける垂直方向に選択された複数のサンプリング画素の画素値から空間的な周波数成分を抽出する周波数成分抽出手段と、
前記抽出された周波数成分から前記複数のサンプリング画素値の前記垂直方向の変化状態を生成することで、前記インターレース信号の他方のフィールドにおける前記複数のサンプリング画素の間に位置する注目画素の画素値を推定する推定手段と、
前記インターレース信号の一方のフィールド信号と前記推定手段により推定された他方のフィールド信号とから前記プログレッシブ信号を合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記一方のフィールドにおける前記複数のサンプリング画素は、動きのある画像領域から選択されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周波数成分抽出手段はコサイン変換により周波数成分を抽出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数のサンプリング画素の個数は、前記注目画素の上下に位置する４個以上であることを特徴とする請求項１−３のいずれかに記載の画像処理装置。
【請求項５】
インターレース信号の一方のフィールドから他方のフィールドの画像信号を生成することでインターレース信号をプログレッシブ信号に変換する方法において、
前記一方のフィールドにおける垂直方向に複数のサンプリング画素を選択し、
前記複数のサンプリング画素の画素値の空間的な変化を周波数領域に変換した後、空間領域に逆変換することで画素値の変化状態を検出し、
前記画素値変化状態に基づいて前記他方のフィールドの当該画像領域における画素値を推定する、
ことを特徴とする画像信号変換方法。
【請求項６】
前記一方のフィールドにおける前記複数のサンプリング画素は、動きのある画像領域から選択されることを特徴とする請求項５に記載の画像信号変換方法。
【請求項７】
前記周波数領域への変換はコサイン変換であることを特徴とする請求項５または６に記載の画像信号変換方法。
【請求項８】
前記複数のサンプリング画素の個数は、前記他方のフィールドの推定される画素の上下に位置する４個以上であることを特徴とする請求項５−７のいずれかに記載の画像信号変換方法。
【請求項９】
インターレース信号の一方のフィールドから他方のフィールドの画像信号を生成することでインターレース信号をプログレッシブ信号に変換する装置において、
前記一方のフィールドにおける垂直方向に複数のサンプリング画素を選択し、前記複数のサンプリング画素の画素値の空間的な変化を周波数領域に変換する変換手段と、
前記周波数領域から空間領域に逆変換することで画素値の変化状態を検出する逆変換手段と、
前記画素値変化状態に基づいて前記他方のフィールドの当該画像領域における画素値を推定する推定手段と、
を有することを特徴とする画像信号変換装置。
【請求項１０】
コンピュータに、インターレース信号の一方のフィールドから他方のフィールドの画像信号を生成することでインターレース信号からプログレッシブ信号への変換を実行させるためのプログラムにおいて、
前記一方のフィールドにおける垂直方向に複数のサンプリング画素を選択し、前記複数のサンプリング画素の画素値の空間的な変化を周波数領域に変換する変換手段を実現するステップと、
前記周波数領域から空間領域に逆変換することで画素値の変化状態を検出する逆変換手段を実現するステップと、
前記画素値変化状態に基づいて前記他方のフィールドの当該画像領域における画素値を推定する推定手段を実現するステップと、
を有することを特徴とする画像信号変換プログラム。
【請求項１１】
請求項９に記載の画像信号変換装置を含むプログレッシブ型表示装置。
【請求項１２】
請求項９に記載の画像信号変換装置を含むプログレッシブ型テレビ受像器。
【請求項１３】
請求項９に記載の画像信号変換装置を含むアダプタ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理技術に係り、特にインターレース信号からプログレッシブ信号への変換（以下、Ｉ−Ｐ変換という。）を行う装置および方法に関する。
【背景技術】
【０００２】
周知のように、プログレッシブ走査では一画像を構成する複数のラインをライン毎に順次走査するが、インターレース走査では奇数ラインを走査した後に偶数ラインを走査するために奇数フィールドと偶数フィールドとの間に時間的なずれが生じる（現行テレビジョンでは１／６０秒）。このために、動きのある映像のインターレース信号をプログレッシブ信号に変換する場合、単純に奇数フィールドと偶数フィールドとを合成すると、動いている物体の画像がライン毎にクシ状にずれた状態となり非常に見にくい映像となってしまう。
【０００３】
たとえば、黒いドーナツ形状の物体の画像をインターレース信号からプログレッシブ信号に変換する場合を例に取ると、物体が静止していれば、図１０（Ａ）に示すように奇数フィールドと偶数フィールドとを合成しても問題なく表示される。しかしながら、物体が右方向に移動している映像の場合には、奇数フィールドの物体映像に対して偶数フィールドのそれは１／６０秒後の映像であるから、その間に移動しており、表示位置がずれている。したがって、これらを単純に合成すると、図１０（Ｂ）に示すように、映像がクシ状に乱れ、映像から得られる情報精度が劣化するだけでなく、ユーザが視覚的な疲労を感じることになる。
【０００４】
そこで、図１０（Ｃ）に示す奇数ラインを用いて偶数ラインを補間する方法が採用されている。補間方法として奇数ラインと同じデータを偶数ラインに使用する方法があるが、図１０（Ｄ）に示すように、解像度が著しく低下してしまい十分な情報精度を得ることができない。他の補間方法としては、偶数ラインの上下にある奇数ラインの値の平均値を使用する方法もあるが、図１０（Ｅ）に示すように、やはり解像度が低下し十分な情報精度を得ることができない。
【０００５】
特開２００３−９０９３号公報（特許文献１）には、上下にある奇数ラインの値を平均する際に失われる周波数成分を補う映像信号処理装置が開示されている。特許文献１の段落００２０〜００２５によれば、補間すべき画素の上下にそれぞれ位置するフィールド内の各３画素のデータをＬＰＦおよびＢＰＦに入力し、ＬＰＦから出力された補間基準データとＢＰＦから出力された（失われた周波数成分を補う）補正値とを加算することで補間データを生成する。
【０００６】
【特許文献１】特開２００３−９０９３号公報（段落００２０〜００２５）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された方法は、平均処理で失われた周波数成分をＢＰＦの出力で補うことで解像感の低下を防ごうとするものである。
【０００８】
これに対して本発明は新たなＩ−Ｐ変換技術を提案するものであり、簡略な構成で十分な画質を得ることができる画像処理装置および画像信号変換方法の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、一方のフィールドにおける垂直方向の画素値を周波数領域に変換した後、再び空間領域に逆変換することで画素値の変化状態を検出し、この画素値変化状態に基づいて他方のフィールドの画素値を推定する。このようにして推定された他方のフィールドの画素値と一方のフィールドの画素値とを合成することでプログレッシブ信号を合成することができる。この画素値推定は動きのある画像領域だけに適用することが望ましい。
【００１０】
また、周波数領域への変換はコサイン変換を用いることで、複数の基底波の係数に当たる周波数成分を抽出することができる。画素値推定のためのサンプリング画素の個数は推定される画素の上下に位置する４個以上であることが望ましい。
【発明の効果】
【００１１】
本発明によれば、垂直方向の複数の画素値を用いて周波数領域への変換および逆変換を行うだけで、それらの間に位置する画素値を精度良く推定することができる。したがって、一方のフィールドだけから１フレームを高画質で生成することができ、簡略な構成で十分な画質の画像信号変換を達成できる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明の一実施形態による画像処理装置の画像信号変換部を示すブロック図である。本実施形態による画像信号変換部は、フィールドメモリ１０１、周波数成分抽出部１０２、ラインデータ推定部１０３および合成部１０４を有し、画像信号をインターレースからプログレッシブへ変換するアダプタとして機能する。入力したインターレース信号の一方のフィールドの画像データはフィールドメモリ１０１に格納され、後述するように周波数成分抽出部１０２およびラインデータ推定部１０３によって他方のフィールド画像データが推定され、推定された他方のフィールド画像データは合成器１０４によってフィールドメモリ１０１に格納された一方のフィールド画像データと合成され、プログレッシブ信号して出力される。
【００１３】
後述するように、周波数成分抽出部１０２は、垂直方向に並ぶ所定数の画素値からそれらの変化の周波数成分を抽出する（空間領域から周波数領域への変換）。ラインデータ推定部１０３は、それら周波数成分から垂直方向の画素値波形を生成し（周波数領域から空間領域への逆変換）、その波形から補間すべき画素値を推定する。なお、画素値とは、画素の輝度や色差の値を意味する。以下、本実施形態の動作を図面を参照しながら詳細に説明する。
【００１４】
図２（Ａ）および（Ｂ）はインターレース走査の奇数フィールドおよび偶数フィールドの走査順、（Ｃ）はフィールドとフレームの構成、および（Ｄ）はプログレッシブ走査順をそれぞれ示す模式図である。本実施形態では、図２（Ａ）に示す奇数ラインの画像値をフィールドメモリ１０１に格納し、各奇数ラインの間の偶数ラインを推定することで図２（Ｄ）に示すプログレッシブ信号を生成する場合を説明する。
【００１５】
図３（Ａ）は本実施形態における推定されるラインと推定に使用されるラインとの関係を模式的に示す図であり、（Ｂ）は推定に使用されるラインにおける垂直方向に配列された画素値の空間分布の一例を示すグラフである。周波数成分抽出部１０２は、図３（Ａ）に示すように、推定すべきライン（ここでは偶数ライン）の注目画素の上下に位置するそれぞれ２つの奇数ライン画素値を読み出し、それらの画素値の空間変化から周波数成分を抽出する。ラインデータ推定部１０３は抽出された周波数成分を合成して垂直方向の画素値変化を再現し、それにより偶数ラインの注目画素の画素値を推定する。
【００１６】
言い換えれば、周波数成分抽出部１０２およびラインデータ推定部１０３は、４つのサンプリング値からそのサンプリング位置の間にある１つの値を推定する。図３（Ｂ）のグラフの横軸はライン番号、縦軸は画素値であり、垂直方向に並んだ４つのサンプリング値の空間分布を示している。なお、サンプリング位置、サンプリング数、推定される画素の位置、推定される画素数は、この例に限定されるものではない。
【００１７】
以下、ある偶数ライン（ここでは第４ライン）を推定すべきラインとし、その上下に位置する４本の奇数ライン（ここでは、第１、３、５および７ライン）の画素値が図３（Ｂ）に示すように分布していると仮定して、本発明によるライン推定方法を具体的に説明する。
【００１８】
図４（ａ）〜（ｄ）は、周波数領域の基底となる４つの基底波をそれぞれ示すグラフである。ここでは、（ａ）の基底波が最も周波数が低く（直流成分）、（ｂ）の基底波の２倍の周波数が（ｃ）の基底波、３倍の周波数が（ｄ）の基底波となっている。周波数成分抽出部１０２は、コサイン変換により、これら基底波の係数（周波数成分）を求めることで周波数領域への変換を行う。なお、基底波としては４つの周波数が異なるコサイン波を用いているが、これに限定されるものではない。
【００１９】
図５は周波数領域への変換により得られた周波数成分を示すグラフである。このグラフにおいて、横軸は図４（ａ）〜（ｄ）に示す各基底波（周波数）を示し、縦軸はそれら基底波の振幅（周波数成分）を示す。こうして得られた周波数成分を用いてライン推定部１０３は空間領域への逆変換を行い、垂直方向の画素値の変化を示す波形を生成する。
【００２０】
図６は逆変換により得られた垂直方向の画素値の変化を示すグラフである。ライン推定部１０３による逆変換で得られた垂直方向の画素値変化曲線２０１は、奇数ラインのサンプリング値ではなく、少なくともライン番号毎の画素値を示し、あるいはライン番号を横軸とした画素値の連続的変化を示す。こうして複数の奇数ラインから得られた垂直方向の画素値変化曲線２０１から推定すべき偶数ラインの画素値を求めることができる。この例では、推定すべき第４ラインの画素値２０２を第１、３、５、７ラインに基づいて得られた曲線２０１から求めることができる。
【００２１】
以上から明らかなように、本実施形態によれば、（２ｉ）番目の偶数ラインの各画素値は、その上下に位置する（２ｉ−１）番目、（２ｉ−３）番目、（２ｉ＋１）番目および（２ｉ＋３）番目の奇数ラインの画素値に基づいて推定することができる。ここで、ｉは２以上の整数である。なおｉ＝１の場合はｉ＝２で得られた曲線２０１を用いて求めることができるが、実際のテレビジョン映像の場合、第２ラインのような画面端部のラインは有効領域外であるから一般に推定不要である。
【００２２】
また、本実施形態では偶数ラインを推定するために上下４つの奇数ラインを用いたが、任意の数の奇数ラインを用いてそれらの間の偶数ラインを推定することは可能である。ただし、現行のテレビジョン映像で実験した結果では、上下２ラインでは従来のような平均処理と同様な効果しかなかった。上下６ライン以上では上下４ラインと同様の高精度表示を得ることができたが、それよりも格別に良好な目視効果を認識することはできなかった。したがって、計算量、処理速度、コストなどを考慮すれば、本実施形態のように上下４つのラインを使用するのが望ましい。
【００２３】
なお、上述の例では偶数ラインを推定するために上下４つの奇数ラインを用いたが、逆に奇数ラインを推定するために上下４つの偶数ラインを用いることも可能である。言い換えれば、本実施形態によれば、いずれか一方のフィールド画像データを用いて他方のフィールド画像データを高精度に推定することができる。
【００２４】
図７は本実施形態により奇数ラインから得られたプログレッシブ信号を表示した時の画像を模式的に示す図である。図１０（Ｄ）および（Ｅ）に示す従来の表示画質に比べて、解像度の低下が抑えられているので情報精度が高く高画質を得ることができる。
【実施例】
【００２５】
図８は本発明の一実施例による画像処理装置のブロック図である。本実施例の画像処理装置１１は、通常のパーソナルコンピュータあるいはワークステーションと同様の構成となっており、プログラム制御プロセッサであるＣＰＵ（中央処理装置）１２を備えている。ＣＰＵ１２はデータバスや制御バスを含むバス１３を介してプログラム記録媒体１４、作業メモリ１５、インターレース信号入力部１６およびプログレッシブ信号出力部１７に接続されている。プログラム記録媒体１４には、本実施例による画像処理の一連の処理手順が制御プログラムとして格納されている。
【００２６】
ＣＰＵ１２は、プログラム記録媒体１４に格納されている変換プログラムを実行することにより、図１に示す画像信号変換部の周波数成分抽出部１０２、ラインデータ推定部１０３および合成部１０４を機能的に実現し、入力したインターレース信号から上述したプログレッシブ信号を出力する。
【００２７】
プログラム記録媒体１４としては図示しない磁気ディスク、光ディスク、ＲＯＭ（リード・オンリ・メモリ）あるいはＲＡＭ（ランダム・アクセス・メモリ）等の各種のデータ書込可能な記録媒体を当てることが出来る。作業用メモリ１５は、プログラム記録媒体１４に格納された制御プログラムを実行する際に一時的に必要とされる各種データを一時的に格納したり、インターレース信号入力部１６から入力したインターレース信号データをＩ−Ｐ変換する際に一時的に格納したりするメモリ領域である。
【００２８】
インターレース信号入力部１６はＩ−Ｐ変換を行う対象となる信号を入力するようになっている。信号の様態としては各種のものが存在している。たとえばテレビチューナや、ＳＴＢ（セット・トップ・ボックス）およびビデオデッキから放送によるインターレース信号を入力してもよいし、ハードディスクや、光ディスク等の外部記憶媒体を使用してインターレース信号データを入力してもよい。また、インターネットのような通信ネットワークに接続し、これから必要なインターレース信号データを得てもよい。あるいは、ＵＳＢ（ユニバーサル・シリアル・バス）や専用ケーブルを使用してインターレース信号データを入力してもよい。
【００２９】
プログレッシブ信号出力部１７は作業メモリ１５に格納されたＩ−Ｐ変換後のプログレッシブ信号を出力する部分である。上述した信号の様態で出力するものであってもよし、テレビモニタ、パーソナルコンピュータのモニタに出力するものであってもよい。
【００３０】
図９は本実施例による画像処理装置の画像信号変換方法を示すフローチャートである。画像処理装置１１のＣＰＵ１１は、変換プログラムを実行することにより、インターレース信号入力部１６から入力された１フィールド／フレーム分のデータを作業メモリ１５に格納し、作業メモリ１５から奇数ラインを４ラインずつ選択しながらＩ−Ｐ変換処理を実行する。
【００３１】
まずライン選択変数ｉと画素選択変数ｊを初期化する（ステップＳ２１）。続いて、（２ｉ−１）番目、（２ｉ−３）番目、（２ｉ＋１）番目および（２ｉ＋３）番目のラインを選択し（ステップＳ２２）、選択した各ラインの左からｊ番目の画素値を読み出す（ステップＳ２３）。読み出された４つのラインのｊ番目の画素値から上述した周波数領域への変換を行い、各基底波に対する周波数成分を求める（ステップＳ２４）。続いて、求めた周波数成分を各基本波に乗じて４つの基本波形を合成することで空間領域への逆変換を行い、既に説明したように（２ｉ）ラインのｊ番目の画素値を推定する（ステップＳ２５）。以上のステップＳ２３〜Ｓ２５の処理は、注目画素が右端に到達するまで、ｊをインクリメントしながら繰り返される（ステップＳ２６のＮＯ、ステップＳ２７）。
【００３２】
注目画素が右端に到達すると（ステップＳ２６のＹＥＳ）、現在のライン番号ｉが最下ラインであるか否かが判断され（ステップＳ２８）、最下ラインでなければ（ステップＳ２８のＮＯ）、ｉをインクリメントしながら上記ステップＳ２２〜Ｓ２６が繰り返される（ステップＳ２９）。現在のライン番号ｉが最下ラインであれば（ステップＳ２８のＹＥＳ）、１フレームのプログレッシブ信号を出力する（ステップＳ３０）。
【００３３】
なお、本実施例における周波数領域への変換および逆変換処理（ステップＳ２４およびＳ２５）は必ずしも画像全体に対して実行する必要はない。たとえば、一連のフレーム画像を入力してフレーム間比較を行うことで画像の中の動きのある領域を検出し、動きのある領域のみに周波数領域への変換および逆変換処理（ステップＳ２４およびＳ２５）を実行することもできる。既に述べたように、静止画像領域は奇数フィールドおよび偶数フィールドを合成するだけで情報精度を確保できるのであるから、動きのある領域のみ本発明による変換処理を行うことによりＣＰＵ１１の負担を軽減し高速変換処理を達成できる。
【産業上の利用可能性】
【００３４】
本発明は、インターレース方式で放送されたテレビ番組をプログレッシブ方式のテレビに表示する場合に適用できる。また、ビデオデッキ、ＤＶＤプレイヤーからインターレース方式で出力したデータをプログレッシブ方式のテレビで表示する場合に適用できる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態による画像処理装置の画像信号変換部を示すブロック図である。
【図２】（Ａ）および（Ｂ）はインターレース走査の奇数フィールドおよび偶数フィールドの走査順、（Ｃ）はフィールドとフレームの構成、および（Ｄ）はプログレッシブ走査順をそれぞれ示す模式図である。
【図３】（Ａ）は本実施形態における推定されるラインと推定に使用されるラインとの関係を模式的に示す図であり、（Ｂ）は推定に使用されるラインにおける垂直方向に配列された画素値の空間分布の一例を示すグラフである。
【図４】（ａ）〜（ｄ）は、周波数領域の基底となる４つの基底波をそれぞれ示すグラフである。
【図５】周波数領域への変換により得られた周波数成分を示すグラフである。
【図６】逆変換により得られた垂直方向の画素値の変化を示すグラフである。
【図７】本実施形態により奇数ラインから得られたプログレッシブ信号を表示した時の画像を模式的に示す図である。
【図８】本発明の一実施例による画像処理装置のブロック図である。
【図９】本実施例による画像処理装置の画像信号変換方法を示すフローチャートである。
【図１０】従来方式のＩ−Ｐ変換を説明するための表示画像を模式的に示す図である。
【符号の説明】
【００３６】
１０１  フィールドメモリ
１０２  周波数成分抽出部
１０３  ラインデータ推定部
１０４  合成部
【図１】
2007074457.tif 000003
【図２】
2007074457.tif 000004
【図３】
2007074457.tif 000005
【図４】
2007074457.tif 000006
【図５】
2007074457.tif 000007
【図６】
2007074457.tif 000008
【図７】
2007074457.tif 000009
【図８】
2007074457.tif 000010
【図９】
2007074457.tif 000011
【図１０】
2007074457.tif 000012