(57)【要約】【課題】参照画素の選択方法を適応的に変化させ、斜め方向の成分を持った原画像に対してジャギーの少ない滑らかな補間画像を生成する。【解決手段】エッジ検出手段２はインターレース信号１による原画像における画像のエッジ部を構成する画素を検出し、参照画素選択手段３は着目する補間画素を中心にした所定の領域内で、検出された画像のエッジ部を構成する画素の配置パターンにより、補間画素を生成するための参照画素を選択し、補間画素生成手段４は選択された参照画素に基づいて補間画素を生成し、補間画像を構成するプログレッシブ信号５を出力する。【選択図】　　　　図１
2004056586.tif 000002
【特許請求の範囲】
【請求項１】
インターレース信号を補間処理してプログレッシブ信号に変換する画像処理装置において、
上記インターレース信号による原画像における画像のエッジ部を構成する画素を検出するエッジ検出手段と、
着目する補間画素を中心にした所定の領域内で、上記エッジ検出手段により検出された画像のエッジ部を構成する画素の配置パターンにより、上記補間画素を生成するための参照画素を選択する参照画素選択手段と、
上記参照画素選択手段により選択された参照画素に基づいて上記補間画素を生成し、補間画像を構成する上記プログレッシブ信号を出力する補間画素生成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
エッジ検出手段は、水平方向に隣接する画素の差分と所定の闘値との比較を行い、上記差分が上記闘値より大きな画素を、画像のエッジ部を構成する画素として検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
参照画素選択手段は、補間画素を中心にした上下±１ライン上の左右±２画素からなる領域内で検出された画像のエッジ部を構成する画素を、参照画素として選択し、
補間画素生成手段は上記参照画素の画素値の平均値を画素値とする補間画素を生成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
参照画素選択手段は補間画素に対して点対称となる画素を参照画素として選択することを特徴とする請求項３記載の画像処理装置。
【請求項５】
参照画素選択手段は補間画素に対して点対称となる２対の画素を参照画素として選択することを特徴とする請求項４記載の画像処理装置。
【請求項６】
参照画素選択手段は補間画素に対して点対称とならない画素を参照画素として選択し、
補間画素生成手段は上記参照画素の画素値に重み付けをして平均値を求めることを特徴とする請求項３記載の画像処理装置。
【請求項７】
エッジ検出手段が画像のエッジ部を構成する画素を検出しない場合には、
参照画素選択手段は着目した補間画素の１ライン上の真上の画素と１ライン下の真下の画素を参照画素として選択し、
補間画素生成手段は上記参照画素の画素値の平均値を画素値とする上記補間画素を生成することを特徴とする請求項１記載の画像処理装置。
【請求項８】
インターレース信号を補間処理してプログレッシブ信号に変換する画像処理方法において、
上記インターレース信号による原画像における画像のエッジ部を構成する画素を検出する第一のステップと、
着目する補間画素を中心にした所定の領域内で、上記第一のステップにより検出された画像のエッジ部を構成する画素の配置パターンにより、上記補間画素を生成するための参照画素を選択する第二のステップと、
上記第二のステップにより選択された参照画素に基づいて上記補間画素を生成し、補間画像を構成する上記プログレッシブ信号を出力する第三のステップとを備えたことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はインターレース信号を画素補間処理してプログレッシブ信号を生成する画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
テレビジョンで使用されるインターレース信号をコンピュータディスプレイ上に表示するには、１ラインおきのインターレース信号の画素補間処理を行い、コンピュータで使用するプログレッシブ信号に変換する必要がある。図７は従来の画像処理装置におけるインターレース信号の同一フィールド内での画素補間処理を説明する図である。図において、ラインＬ，Ｌ＋１はインターレース信号の原ラインであり、原ライン上の画素から補間画素を生成する。
【０００３】
図７に示すように、それぞれのラインの画素値をＡ（Ｘ−１），Ａ（Ｘ），Ａ（Ｘ＋１）及びＢ（Ｘ−１），Ｂ（Ｘ），Ｂ（Ｘ＋１）とする。ここで、補間画素の画素値Ｐ（Ｘ）を求める場合に、求める補間画素の上下のラインで垂直に隣り合う画素を参照画素とし、つまり画素値Ａ（Ｘ）の画素及び画素値Ｂ（Ｘ）の画素を参照画素とし、この参照画素対の画素値の平均値を求め、その平均値を補間画素の画素値とする。すなわち、
Ｐ（Ｘ）＝（Ａ（Ｘ）＋Ｂ（Ｘ））／２
とする。以下、この補間法を上下補間法と呼ぶ。
【０００４】
この上下補間法では、回路構成等が少ないという利点があるが、インターレース信号による原画像に斜め線を含む場合に、プログレッシブ信号による補間画像の斜め成分がギザギザになってしまうジャギーが多くなるという欠点がある。
【０００５】
また、他の補間法としては、着目する補間画素を生成するための参照画素として、画素値の差分が小さい対を選択する相関補間法がある。この方法では、画素値Ｐ（Ｘ）の補間画素に対して、画素値Ａ（Ｘ−１）の画素と点対称な画素値Ｂ（Ｘ＋１）の画素との差分の絶対値｜Ａ（Ｘ−１）−Ｂ（Ｘ＋１）｜を求める。以下、同様に、｜Ａ（Ｘ）−Ｂ（Ｘ）｜、｜Ａ（Ｘ＋１）−Ｂ（Ｘ−１）｜を求める。
【０００６】
この３つの差分の絶対値のうち最小のものを相関が一番高いとみなして、この画素を補間画素を生成するための必要な参照画素とする。例えば、｜Ａ（Ｘ−１）−Ｂ（Ｘ＋１）｜が最小の場合に、画素値Ａ（Ｘ−１）の画素と画素値Ｂ（Ｘ＋１）の画素を参照画素対とし、補間画素の画素値Ｐ（Ｘ）を、
Ｐ（Ｘ）＝（Ａ（Ｘ−１）＋Ｂ（Ｘ＋１））／２
とする。ただし、この相関補間法の場合には、誤って適切な参照画素対を選択できなければ、かえって画像劣化を引き起こす可能性がある。
【０００７】
【発明が解決しようとする課題】
従来の画像処理装置は以上のように構成されているので、上下補間法の場合には、原画像に斜め線を含む場合に補間画像の斜め成分がギザギザとなってしまうジャギーが多くなり、また、相関補間法の場合には、適切な参照画素対を選択できなければ、かえって画像劣化を引き起こしてしまうという課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、画像のエッジ部付近における補間画素を生成する場合と、それ以外の場合とで、参照画素の選択方法を適応的に変化させ、斜め方向の成分を持った原画像に対してジャギーの少ない滑らかな補間画像を生成できる画像処理装置及び画像処理方法を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る画像処理装置は、インターレース信号による原画像における画像のエッジ部を構成する画素を検出するエッジ検出手段と、着目する補間画素を中心にした所定の領域内で、検出された画像のエッジ部を構成する画素の配置パターンにより、補間画素を生成するための参照画素を選択する参照画素選択手段と、選択された参照画素に基づいて補間画素を生成し、補間画像を構成するプログレッシブ信号を出力する補間画素生成手段とを備えたものである。
【００１０】
この発明に係る画像処理装置は、エッジ検出手段が、水平方向に隣接する画素の差分と所定の闘値との比較を行い、差分が闘値より大きな画素を、画像のエッジ部を構成する画素として検出するものである。
【００１１】
この発明に係る画像処理装置は、参照画素選択手段が、補間画素を中心にした上下±１ライン上の左右±２画素からなる領域内で検出された画像のエッジ部を構成する画素を、参照画素として選択し、補間画素生成手段が参照画素の画素値の平均値を画素値とする補間画素を生成するものである。
【００１２】
この発明に係る画像処理装置は、参照画素選択手段が補間画素に対して点対称となる画素を参照画素として選択するものである。
【００１３】
この発明に係る画像処理装置は、参照画素選択手段が補間画素に対して点対称となる２対の画素を参照画素として選択するものである。
【００１４】
この発明に係る画像処理装置は、参照画素選択手段が補間画素に対して点対称とならない画素を参照画素として選択し、補間画素生成手段が参照画素の画素値に重み付けをして平均値を求めるものである。
【００１５】
この発明に係る画像処理装置は、エッジ検出手段が画像のエッジ部を構成する画素を検出しない場合に、参照画素選択手段が着目した補間画素の１ライン上の真上の画素と１ライン下の真下の画素を参照画素として選択し、補間画素生成手段が参照画素の画素値の平均値を画素値とする補間画素を生成するものである。
【００１６】
この発明に係る画像処理方法は、インターレース信号による原画像における画像のエッジ部を構成する画素を検出する第一のステップと、着目する補間画素を中心にした所定の領域内で、検出された画像のエッジ部を構成する画素の配置パターンにより、補間画素を生成するための参照画素を選択する第二のステップと、選択された参照画素に基づいて補間画素を生成し、補間画像を構成するプログレッシブ信号を出力する第三のステップとを備えたものである。
【００１７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置の構成を示すブロック図である。図において、１は入力される原画像を構成するインターレース信号、２は原画像において画像のエッジ部を構成する画素を検出するエッジ検出手段、３は着目する補間画素を中心とした所定の領域内で、エッジ検出手段２により検出された画像のエッジ部を構成する画素の配置パターンにより、補間画素を生成するための参照画素を選択する参照画素選択手段、４は参照画素選択手段３により選択された参照画素に基づいて補間画素を生成して補間画像を構成するプログレッシブ信号５を出力する補間画素生成手段である。
【００１８】
次に動作について説明する。
エッジ検出手段２は入力されたインターレース信号１による原画像において画像のエッジ部を構成する画素を検出する。ここでは、隣接する画素の１次微分を求めることにより画像のエッジ部を検出する。
【００１９】
図２はエッジ検出手段２による画像のエッジ部の検出を説明する図であり、図２（ａ）は時刻ｔに対する画素値ａ（ｔ）を示し、図２（ｂ）は時刻ｔに対する隣接する画素値との差分絶対値ＤＩＦＦ（ｔ）を示している。時刻ｔ，ｔ＋１に入力される画素をそれぞれａ（ｔ），ａ（ｔ＋１）とすると、エッジ検出手段２は、その画素値の差分の絶対値ＤＩＦＦ（ｔ）を次式により求める。
ＤＩＦＦ（ｔ）＝｜ａ（ｔ＋１）−ａ（ｔ）｜
【００２０】
エッジ検出手段２は求めた絶対値ＤＩＦＦ（ｔ）と所定の闘値ＴＨとを比較して、ＤＩＦＦ（ｔ）が闘値ＴＨより大きい場合は、画素値ａ（ｔ）の画素を、画像のエッジ部を構成する画素として検出し、ＤＩＦＦ（ｔ）が闘値ＴＨより小さい場合は、画素値ａ（ｔ）の画素を、画像のエッジ部を構成しない画素と判定する。図２の例では、エッジ検出手段２は画素値ａ（３）の画素を、画像のエッジを構成する画素として検出する。
【００２１】
参照画素選択手段３は着目する補間画素を求めるために必要な参照画素対を選択する。図３は着目する補間画素と原ライン上の画素を示す図である。図において、◎印が着目する補間画素Ｐを示し、補間画素Ｐの上側の原ラインをラインＡとし、下側の原ラインをラインＢとし、ラインＡ上の画素をａ，ｂ，ｃ，ｄ，ｅとし、ラインＢ上の画素をｐ，ｑ，ｒ，ｓ，ｔとする。
【００２２】
図４は所定の領域内に画像のエッジ部が存在する場合の参照画素選択手段３による参照画素対の選択を説明する図である。図において、エッジ検出手段２で検出された画像のエッジ部を構成する画素を●印で示し、それ以外の画素を○印で示している。参照画素選択手段３は着目する補間画素を中心とした所定の領域内で、エッジ検出手段２により検出された画像のエッジ部を構成する画素の配置パターンにより補間画素を生成するための参照画素を選択するが、この所定の領域として、この画像処理装置の回路規模を適切なものにするために、補間画素を中心にした上下±１ライン上の左右±２画素からなる領域を設定する。
【００２３】
図４の例では、ラインＡ上の画素ｂとラインＢ上の画素ｓが画像のエッジ部を構成する画素として検出されているので、着目する補間画素Ｐを中心とした上下±１ライン上の左右±２画素からなる領域内に点線で示した画像のエッジ部が存在することになり、参照画素選択手段３は補間画素Ｐの参照画素として画素ｂ及び画素ｓを選択する。
【００２４】
補間画素生成手段４は選択された参照画素ｂ及び参照画素ｓにより補間画素Ｐを生成する。すなわち、補間画素生成手段４は、参照画素ｂの画素値及び参照画素ｓの画素値の平均値を画素値とする補間画素Ｐを生成して補間画像を構成するプログレッシブ信号５を出力する。
【００２５】
図５は所定の領域内に画像のエッジ部が存在する場合の参照画素選択手段３による他の参照画素対の選択を説明する図である。図４の例では、着目する補間画素Ｐに対して点対称の位置にある画素ｂと画素ｓが、画像のエッジ部を構成する画素として検出された例を示しているが、図５の例では、着目する補間画素Ｐに対して点対称の位置にない画素ｂと画素ｔが、画像のエッジ部を構成する画素として検出された例を示している。
【００２６】
図５に示すような位置の画素が画像のエッジ部を構成する画素として検出された場合には、参照画素選択手段３は補間画素Ｐの参照画素として画素ｂを選択すると共に、画素ｔの代わりに簡易的に画素ｂと点対称の位置にある画素ｓを選択する。そして、図４に示す場合と同様に、補間画素生成手段４は、参照画素ｂの画素値及び参照画素ｓの画素値の平均値を画素値とする補間画素Ｐを生成して補間画像を構成するプログレッシブ信号５を出力する。ここでは、画素ｔと点対称の位置にある画素ａを選択しても良い。
【００２７】
また、図５に示すような位置の画素が画像のエッジ部を構成する画素として検出された場合には、参照画素選択手段３は補間画素Ｐの参照画素として画素ｂと画素ｔを選択し、補間画素生成手段４は、参照画素ｂの画素値及び参照画素ｔの画素値の平均値を補間画素Ｐの画素値として求める際に、補間画素Ｐより離れた位置にある参照画素ｔの画素値の重み付けを参照画素ｂより軽くして、補間画素Ｐの画素値として求めても良く、変化の激しい斜め線を含む原画像に対しても、画像劣化の少ない補間画像を生成できる。
【００２８】
さらに、図５に示すような位置の画素が画像のエッジ部を構成する画素として検出された場合には、参照画素選択手段３は補間画素Ｐの参照画素として、補間画素Ｐと点対称の位置にある２対の画素、すなわち画素ａと画素ｔ、及び画素ｂと画素ｓを選択し、補間画素生成手段４は、参照画素ａ，ｂ，ｓ，ｔの画素値の平均値を補間画素Ｐの画素値として求めても良く、同様に、変化の激しい斜め線を含む原画像に対しても、画像劣化の少ない補間画像を生成できる。
【００２９】
図６は所定の領域内に画像のエッジ部が存在しない場合の参照画素選択手段３による参照画素対の選択を説明する図である。このように、着目する補間画素Ｐを中心とした上下±１ライン上の左右±２画素からなる領域内に、画像のエッジ部を構成する画素が存在しない場合には、参照画素選択手段３は、上下補間法により、補間画素Ｐの参照画素として画素ｃ及び画素ｒを選択する。
【００３０】
補間画素生成手段４は選択された参照画素ｃ及び参照画素ｒにより補間画素Ｐを生成する。すなわち、補間画素生成手段４は、参照画素ｃの画素値及び参照画素ｒの画素値の平均値を画素値とする補間画素Ｐを生成して補間画像を構成するプログレッシブ信号５を出力する。
【００３１】
このように、参照画素選択手段３は、着目する補間画素Ｐを中心とした上下±１ライン上の左右±２画素からなる領域内の画素から、画像のエッジ部を構成する画素の配置パターンに従って参照画素対を選択し、補間画素生成手段４は参照画素選択手段３で得られた参照画素対により、その平均値又は重み付けを調整した平均値を画素値とする補間画素Ｐを生成する。
【００３２】
以上のように、この実施の形態１によれば、画像のエッジ部が存在する領域では、相関補間法により斜め方向の補間を行い、画像のエッジ部が存在しない領域では、上下補間法を使用することで、誤った参照画素対を選択することによる画像の劣化を抑えることができると共に、斜め方向の成分を持った原画像に対してジャギーの少ない滑らかな補間画像を生成できるという効果が得られる。
【００３３】
また、この実施の形態１によれば、参照画素選択手段３が、着目する補間画素Ｐを中心とした上下±１ライン上の左右±２画素からなる領域内の画素から、画像のエッジ部を構成する画素の配置パターンに従って参照画素対を選択することにより、この画像処理装置の回路規模を適切なものにすることができるという効果が得られる。
【００３４】
さらに、この実施の形態１によれば、参照画素選択手段３が補間画素に対して点対称とならない画素を参照画素として選択し、補間画素生成手段４が参照画素の画素値に重み付けをして平均値を求めることにより、変化の激しい斜め線を含む原画像に対しても、画像劣化の少ない補間画像を生成できるという効果が得られる。
【００３５】
【発明の効果】
以上のように、この発明によれば、誤った参照画素対を選択することによる画像の劣化を抑えることができると共に、斜め方向の成分を持った原画像に対してジャギーの少ない滑らかな補間画像を生成できるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による画像処理装置におけるエッジ検出手段による画像のエッジ部の検出を説明する図である。
【図３】この発明の実施の形態１による画像処理装置における着目する補間画素と原ライン上の画素を示す図である。
【図４】この発明の実施の形態１による画像処理装置における所定の領域内に画像のエッジ部が存在する場合の参照画素選択手段による参照画素対の選択を説明する図である。
【図５】この発明の実施の形態１による画像処理装置における所定の領域内に画像のエッジ部が存在する場合の参照画素選択手段による他の参照画素対の選択を説明する図である。
【図６】この発明の実施の形態１による画像処理装置における所定の領域内に画像のエッジ部が存在しない場合の参照画素選択手段による参照画素対の選択を説明する図である。
【図７】従来の画像処理装置におけるインターレース信号の同一フィールド内での画素補間処理を説明する図である。
【符号の説明】
１　インターレース信号、２　エッジ検出手段、３　参照画素選択手段、４　補間画素生成手段、５　プログレッシブ信号。
【図１】
2004056586.tif 000003
【図２】
2004056586.tif 000004
【図３】
2004056586.tif 000005
【図４】
2004056586.tif 000006
【図５】
2004056586.tif 000007
【図６】
2004056586.tif 000008
【図７】
2004056586.tif 000009