(57)【要約】【課題】  静止領域は視覚上の解像度感を残しつつ、動領域でのちらつき感を抑えて、インターレース画像信号をプログレッシブ映像信号に変換する画像処理装置を提供する。【解決手段】  インターレース画像情報をプログレッシブ画像情報に変換し、プログレッシブ映像信号の帯域を制限し、帯域制限された符合化画像情報をＭＰＥＧ方式の符合化処理を行う行画像処理装置（ＡＩＰ）において、フィルタ（１０２）は、前記ＭＰＥＧ符合化手段の符合化出力の発生符号量を制御する為に、その入力である符合化画像情報に含まれる高周波成分量の抑制を指示するレート制御信号と、ＩＰ変換の処理過程で生成される画素毎のインターレース画像のフィールド間の相関情報である静止領域／動領域判定結果を用いてプログレッシブ画像情報に帯域制限処理を行う。【選択図】  図１
2006074684.tif 000002
【特許請求の範囲】
【請求項１】
インターレース画像情報を入力し、プログレッシブ画像情報に変換出力するＩＰ変換手段と、プログレッシブ方式の映像信号の帯域を制限する帯域制限フィルタ手段と、帯域制限フィルタ手段から出力される符合化画像情報をＭＰＥＧ方式の符合化処理を行うＭＰＥＧ符合化手段とを備える画像処理装置であって、
前記帯域制限フィルタ手段は、前記ＭＰＥＧ符合化手段の符合化出力の発生符号量を制御する為に、その入力である符合化画像情報に含まれる高周波成分量の抑制を指示するレート制御信号と、前記ＩＰ変換手段の処理過程で生成される画素毎のインターレース画像のフィールド間の相関情報である静止領域／動領域判定結果を用いて前記プログレッシブ画像情報に帯域制限処理を行うことを特徴とする画像処理装置。
【請求項２】
前記フィルタ手段は、静止領域の画素に対しては他の領域よりも帯域制限を浅くし、視覚的に注目されやすく解像度感を保護することを特徴とする請求項１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース方式の画像信号をプログレッシブ方式の映像信号に変換し、ＭＰＥＧ符号化する方法及び装置に関する。
【背景技術】
【０００２】
コンピュータの性能向上や、液晶ディスプレイの普及に伴い、コンピュータディスプレイや液晶ディスプレイ上でテレビジョンやビデオ等の画像を再生する機会が高まっている。一般的なテレビジョン信号やビデオ信号はインターレース方式の映像信号であるのに対して、コンピュータディスプレイや液晶ディスプレイに表示される映像信号は、プログレッシブ方式の映像信号であることから、このような画像再生アプリケーションでは、インターレース方式の映像信号をプログレッシブ方式に映像に変換するＩＰ変換と呼ばれる手法が用いられる。
【０００３】
インターレース方式の映像信号とプログレッシブ方式の映像信号とは、次のような点で異なる。先ず、インターレース方式の映像信号は、垂直方向に互いに異なるオフセットを持つ１ラインおきの画像データをそれぞれ有する２つのフィールドによって１フレームが構成される。すなわち、奇数番目のラインの画像データからなるトップフィールドと、偶数番目のラインからなるボトムフィールドの順で画像データが順次入力される。これに対して、プログレッシブ方式の映像信号は、１フレームの全ライン・全画素の画素データが画素順次で入力される。
【０００４】
また、インターレース方式の映像信号では、それぞれのフィールドが表す画像のタイムスタンプがずれ(時間的な距離を持っているのに対して、プログレッシブ方式の映像信号では１フレームの構成する画像のタイムスタンプは一意(同一時刻)である。このため、同一解像度且つ同一フレームレートのインターレース方式の映像信号とでは、インターレース方式の映像信号の時間解像度が高く、プログレッシブ方式の映像信号の空間解像度が高いという性質の違いがある。
【０００５】
ＩＰ変換を実施する場合は、インターレース方式の映像信号の一方のフィールドにしか存在しないラインの画像データを特定の処理により補間することが必要となる。従来から行われているこの補間処理の一般的な方法について図面を参照しながら説明する。
【０００６】
図３に、従来の画像走査変換装置の構成を示す。画像走査変換装置ＣＩＳは、第１のフィールドメモリ３０１、第２のフィールドメモリ３０２、モード判定器３０３、および３０４を含む。第１のフィールドメモリ３０１は、インターレース方式の入力映像信号を１フィールド分遅延させる。第２のフィールドメモリ３０２は、インターレース方式の入力映像信号を更に１フィールド分遅延させる。モード判定器３０３は、画像走査変換対象となる画素が静止領域に存在するか動領域に存在するかを判定する。ＩＰ変換器３０４は、モード判定器３０３の判定結果に応じて補間処理を実行する。
【０００７】
図４を参照して、モード判定器３０３について説明する。モード判定器３０３は、減算器４０１、比較器４０２、および領域判定器４０３を含む。減算器４０１は、２つの画素データの差分を求める。比較器４０２は、予め定められた判定閾値と、減算器４０１によって求められた差分データを比較する。領域判定器４０３は、比較器４０２の比較結果から画像走査変換対象となる画素が静止領域に存在するか動領域に存在する。以下に、画像走査変換装置ＣＩＳの動作を簡単に説明する。
【０００８】
インターレース方式の入力映像信号の画像走査変換対象となる画素を含んだフィールドと、第１のフィールドメモリ３０１及び第２のフィールドメモリ３０２によって２フィールド遅延させたフィールドとの間で位相が同一の画素データ同士がモード判定器３０３へ入力される。モード判定器３０３では、先ず画像走査変換対象となる画素データと２フィールド遅延させた同一位相の画素データ(図３において、「a」と表示の画素データ)との間の差分が減算器４０１によって計算される。次に比較器４０２において、減算器４０１によって計算された値の絶対値と、予め定められた判定閾値との間で大小が比較される。
【０００９】
最後に、領域判定器４０３において、比較器４０２の比較結果が検証される。つまり、画像走査変換対象となる画像データと２フィールド遅延させた同一位相の画素データとの間の差分絶対値が判定閾値よりも大きい場合は、フィールド間での相関が低いと判断され、画像走査変換対象となる画素は動領域に存在すると判定される。逆に画像走査変換対象となる画素データと２フィールド遅延させた同一位相の画素データとの間の差分絶対値が判定閾値よりも小さい場合には、フィールド間での相関が高いと判断され、画像走査変換対象となる画素は静止領域に存在すると判定される。
【００１０】
ＩＰ変換器３０４では、モード判定器３０３の判定結果が動領域を示す場合には、画像走査変換対象となる画素を含んだフィールド(現フィールドに相当)の画像とフィールドメモリ３０２によって１フィールド遅延させた画像との間には動きによる変化が生じているため、画像走査変換対象となる画素の位置のデータは１フィールド遅延させた画像からフィールド内挿により作成される。
【００１１】
また、モード判定器３０３の判定結果が静止領域を示す場合には、画像走査変換対象となる画素の位置のデータは画像走査変換対象となる画素を含んだフィールドの画像及び１フィールド遅延させた画像の両方を用いてフレーム内挿により作成される。この場合、空間解像度を保つために画像走査変換対象となる画素のデータをそのまま用いることも可能である。このような方法により、静止領域の空間解像度を損なわずに画素補間を行い、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換することが可能となる。
【００１２】
以上のようなＩＰ変換は、テレビジョン受像機や画像再生機などの民生用ＡＶ機器などにおいては、ＮＴＳＣ信号のような６０フィールド／秒のインターレース方式の映像信号から６０フレーム／秒のプログレッシブ方式の映像信号を作成して、空間解像度を向上させることに使用される。一方、コンピュータディスプレイや液晶ディスプレイ上にインターレース方式の映像信号を表示される場合には、６０フィールド／秒のインターレース方式の映像信号から３０フレーム／秒のプログレッシブ方式の映像信号を作成し、インターレース妨害による画面のちらつきを抑える目的で使用される。
【００１３】
同様に、ＭＰＥＧ方式による映像信号の符号化の際にも、符号化効率を向上させる目的のために６０フィールド／秒のインターレース方式の映像信号から３０フレーム／秒のプログレッシブ方式の映像信号を作成して符号化を実施する場合がある。
【００１４】
図２にＩＰ変換手段を備えた、ＭＰＥＧ符号化装置の構成を示す。ＭＰＥＧ符号化装置ＡＥＭは、ＩＰ変換器２０１、帯域制限フィルタ２０２、およびＭＰＥＧ符号化器２０３を含む。ＩＰ変換器２０１は、画像走査変換を行う。帯域制限フィルタ２０２は、ＩＰ変換器２０１からのプログレッシブ画像情報を受け取って、符号化画像情報に含まれる映像信号の帯域を制御するレート制御信号に従って、ＭＰＥＧ符号化での発生符号量を抑えるためのフィルタ処理を行った符号化画像情報を出力する。ＭＰＥＧ符号化器２０３は、帯域制限フィルタ２０２からの符号化画像情報を受け取り、ＭＰＥＧ方式の符号化処理を行い符号化出力する。このように、ＩＰ変換器２０１の結果を帯域制限フィルタ２０２で処理し、ＭＰＥＧ符号化処理するのが一般的なＩＰ変換付ＭＰＥＧ符号化装置ＡＥＭの処理手順である。
【特許文献１】特開２００３―２８９５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述した従来のインターレース方式の画像信号をプログレッシブ方式の映像信号に変換し、ＭＰＥＧ符号化する方法においては、ＩＰ変換手段で空間解像度を保つべき静止領域と判定しても、この判定結果の情報はＩＰ変換手段の内部処理のために用いられるのみである。それゆえに、後段の帯域制限フィルタでは、静止領域であるかの区別無くプログレッシブ画像全体に帯域制限フィルタ処理を施してしまい、ＩＰ変換手段の本来の効果が弱められてしまう。
【００１６】
本発明は、上記課題を解決しＩＰ変換本来の効果、すなわち、静止領域の保護すべき領域は視覚上の解像度感を残しつつ、動領域でのちらつき感を抑えるべき領域は帯域制限を掛けた状態でＭＰＥＧ符号化出力が得られるよう、インターレース方式の画像信号をプログレッシブ方式の映像信号に変換し、ＭＰＥＧ符号化する画像処理方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
インターレース画像情報を入力し、プログレッシブ画像情報に変換出力するＩＰ変換手段と、プログレッシブ方式の映像信号の帯域を制限する帯域制限フィルタ手段と、帯域制限フィルタ手段から出力される符合化画像情報をＭＰＥＧ方式の符合化処理を行うＭＰＥＧ符合化手段とを備える画像処理装置であって、
前記帯域制限フィルタ手段は、前記ＭＰＥＧ符合化手段の符合化出力の発生符号量を制御する為に、その入力である符合化画像情報に含まれる高周波成分量の抑制を指示するレート制御信号と、前記ＩＰ変換手段の処理過程で生成される画素毎のインターレース画像のフィールド間の相関情報である静止領域／動領域判定結果を用いて前記プログレッシブ画像情報に帯域制限処理を行うことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、インターレース画像の各画素の特性に応じた帯域制限を施すことができ、ＭＰＥＧ符合化で視覚上良好な符合化処理が行える。
【発明を実施するための最良の形態】
【００１９】
（第１の実施の形態）
図１を参照して、本発明の実施の形態に係る画像処理装置について説明する。画像処理装置ＡＩＰ１は、ＩＰ変換器１０１、帯域制限フィルタ１０２、および予約設定部１０３を含む。ＩＰ変換器１０１は、画像走査変換を行う。帯域制限フィルタ１０２は、ＩＰ変換器１０１からのプログレッシブ画像情報を受け取って、符号化画像情報に含まれる映像信号の帯域を制御するレート制御信号に従って、ＭＰＥＧ符号化での発生符号量を抑えるためのフィルタ処理を行った符号化画像情報を出力する。ＭＰＥＧ符号化器１０３は、帯域制限フィルタ１０２からの符号化画像情報を受け取り、ＭＰＥＧ方式の符号化処理を行い符号化出力する。
【００２０】
次に、画像処理装置ＡＩＰの動作について説明する。ＩＰ変換器１０１の動作は、基本的に上述のＩＰ変換器２０１と同様である。帯域制限フィルタ１０２は、ＩＰ変換器１０１によって得られた静／動領域判定結果を用いて、静止領域判定された画素に対しては他の領域よりも帯域制限を浅くし、視覚的に注目されやすく解像度感を保護する。プログレッシブ画像情報を処理して得られた符合化画像情報は、ＭＰＥＧ符合化器１０３によってＭＰＥＧ符合化される。
【００２１】
（第２の実施の形態）
次に、図５を参照して、本発明の第２の実施の形態にかかる画像処理装置について説明する。画像処理装置ＡＩＰ２は、図３に示した画像走査変換装置ＣＩＳと、図１に示した画像処理装置ＡＩＰ１を組み合わせて構成されている。つまり、画像処理装置ＡＩＰ２は、画像走査変換装置ＣＩＳの第１のフィールドメモリ３０１、第２のフィールドメモリ３０２、およびＩＰ変換器３０４を含むと共に、画像処理装置ＡＩＰ１のＭＰＥＧ符号化器１０３を含む。なお、画像処理装置ＡＩＰのＩＰ変換器１０１と帯域制限フィルタ１０２は、ＩＰ変換／帯域制限フィルタ５０４に一体化されている。
【００２２】
上述のように、画像処理装置ＡＩＰ１においては、ＩＰ変換器１０１は主に垂直方向のフィルタ処理を行い、帯域制限フィルタ１０２は垂直・水平両方向の帯域制限が行われる。一方、画像処理装置ＡＩＰ２においては、ＩＰ変換／帯域制限フィルタ５０４によって、垂直方向のフィルタ処理をＩＰ変換手段部のフィルタ回路と兼用し、ＩＰ変換処理と垂直方向の帯域制限フィルタ処理を一度に行われる。なお、ＩＰ変換処理は具体的にはどのような構成でもよく、画素毎のインターレース画像のフィールド間の相関情報である静止領域／動領域判定を行う構成或いは、相関の強さそのものの情報を用いて画像走査変換処理を行う構成であってもよい。
【産業上の利用可能性】
【００２３】
本発明のインターレース方式の画像信号をプログレッシブ方式の映像信号に変換し、ＭＰＥＧ符号化する方法及び装置は、インターレース方式のＴＶ信号の録画や、インターレース方式の出力を持つ撮像素子からの映像信号をプログレッシブ化しＭＰＥＧ符合化記録するＭＰＥＧ４カメラ等に有用である。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態にかかる画像処理装置の構成を示すブロック図
【図２】従来のＩＰ変換を含むＭＰＥＧ符合化装置の構成を示すブロック図
【図３】従来の画像走査変換装置の構成を示すブロック図
【図４】図１に示した画像処理装置におけるＩＰ変換の説明図
【図５】本発明の第２の実施の形態にかかる画像処理装置の構成を示すブロック図
【符号の説明】
【００２５】
ＡＩＰ１、ＡＩＰ２  画像処理装置
ＣＩＳ  画像走査変換装置
１０１  ＩＰ変換手段
１０２  帯域制限フィルタ
１０３  ＭＰＥＧ符合化器
２０１  ＩＰ変換手器
２０２  帯域制限フィルタ
２０３  ＭＰＥＧ符合化器
３０１  第１のフィールドメモリ
３０２  第２のフィールドメモリ
３０３  モード判定器
４０１  減算器
４０２  比較器
４０３  領域判定器
５０４  ＩＰ変換／帯域制限フィルタ
【図１】
2006074684.tif 000003
【図２】
2006074684.tif 000004
【図３】
2006074684.tif 000005
【図４】
2006074684.tif 000006
【図５】
2006074684.tif 000007