(57)【要約】      （修正有）【課題】適正な相関方向を検出可能にして、切断、ぼけ、ジャギー等を発生させることなく補間を行う。【解決手段】原画素相関方向検出回路２０は、入力映像信号が与えられて、画素対の画素値の相関に基づく相関方向の候補を得る。また、エッジ情報相関方向検出回路３０は、入力映像信号が与えられて、エッジ解析対のエッジ解析値の相関に基づく相関方向の候補を得る。相関方向決定回路４０は、これらの相関方向の候補を用いて、補間画素の生成に用いる画素対の相関方向を決定する。これにより、例えば、画素対の画素値に基づく相関方向に誤検出が生じた場合でも、エッジ解析値に基づく相関方向を利用することで、適正な画素対を選択することができ、補間画素生成回路４１において絵柄に応じた補間画素を生成することができる。【選択図】図６
2007181132.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中の画素を用いた補間によって補間画素を得る映像信号処理装置において、
前記入力画像に対してエッジ検出を行うエッジ検出手段と、
前記エッジ検出手段のエッジ検出結果に基づいて、２点間の相関を検出するための画素対であるエッジ解析対を複数選択するエッジ情報選択手段と、
前記エッジ情報選択手段によって選択されたエッジ解析対の相関を算出するエッジ情報相関算出手段と、
前記エッジ情報相関算出手段の算出結果に基づいて前記補間画素の生成に用いる画素対の方向である相関方向を決定するエッジ情報相関方向決定手段と、
前記エッジ情報相関方向決定手段によって決定された相関方向のエッジ解析対と一致する前記入力画像中の画素対を用いて補間画素を生成する補間画素生成手段と、
を具備したことを特徴とする映像信号処理装置。
【請求項２】
入力画像中の画素を用いた補間によって補間画素を得る映像信号処理装置において、
前記入力画像から補間画素の生成に用いる２点間の画素対を複数選択する原画素選択手段と、
前記原画素選択手段によって選択された画素対の画素値の相関を算出する相関算出手段と、
前記相関算出手段の算出結果に基づいて前記補間画素の生成に用いる画素対の方向である相関方向の候補を得る相関方向判定手段と、
前記入力画像に対してエッジ検出を行うエッジ検出手段と、
前記エッジ検出手段のエッジ検出結果に基づいて、２点間の相関を検出するための画素対であるエッジ解析対を複数選択するエッジ情報選択手段と、
前記エッジ情報選択手段によって選択されたエッジ解析対の相関を算出するエッジ情報相関算出手段と、
前記エッジ情報相関算出手段の算出結果に基づいて前記補間画素の生成に用いる画素対の方向である相関方向の候補を得るエッジ情報相関方向判定手段と、
前記相関方向判定手段による相関方向の候補と前記エッジ情報相関方向判定手段による相関方向の候補とに基づいて、前記補間画素の生成に用いる画素対の方向である相関方向を決定する相関方向決定手段と、
前記相関方向決定手段によって決定された相関方向の画素対を用いて補間画素を生成する補間画素生成手段と、
を具備したことを特徴とする映像信号処理装置。
【請求項３】
前記エッジ情報相関算出手段は、各エッジ解析対のエッジ検出結果であるエッジ解析値同士の差分演算によって相関を算出することを特徴とする請求項１又は請求項２のいずれか一方に記載の映像信号処理装置。
【請求項４】
前記相関方向判定手段は、前記画素対の画素値の相関値が第１の閾値よりも小さいか否かによって相関方向の候補を得るものであり、
前記エッジ情報相関方向判定手段は、前記エッジ解析対の相関値が第２の閾値よりも小さいか否かによって相関方向の候補を得るものであることを特徴とする請求項２に記載の映像信号処理装置。
【請求項５】
前記相関方向決定手段は、前記相関方向判定手段による相関方向の候補と前記エッジ情報相関方向判定手段による相関方向の候補のうち、前記エッジ情報相関方向判定手段による相関方向の候補を優先的に選択して相関方向を決定することを特徴とする請求項２に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース方式の映像信号をプログレッシブ方式の映像信号に走査線変換するための走査線補間回路等に好適な映像信号処理装置に関する。
【背景技術】
【０００２】
現行ＮＴＳＣ方式のテレビジョン放送においては、インターレース走査方式が採用されている。インターレース走査は、１画面をトップ（ｔｏｐ)フィールドとボトム（ｂｏｔｔｏｍ）フィールドとに分割して伝送することにより、帯域幅を節約して高効率の伝送を可能にしたものである。しかし、テレビジョン受像機の高輝度化及び大画面化によって、ラインフリッカ及びラインクロールが目立ちやすい。そこで、インターレース信号をプログレッシブ信号に変換する順次走査変換装置が採用されることがある。
【０００３】
インターレース映像をプログレッシブ映像に変換する映像信号処理装置においては、インターレース映像の各走査線相互間を補間することで、プログレッシブ映像を得る。即ち、インターレース−プログレッシブ変換を行う映像信号処理装置においては、補間ラインの信号を生成するための走査線補間回路を備える。
【０００４】
走査線補間回路として、補間ラインの上下のラインの画素の平均値によって補間画素を生成するものがある。しかし、この補間方法では、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つプログレッシブ画像が生成されてしまうことがある。
【０００５】
そこで、特許文献１においては、斜めエッジの解像度劣化を防止するため、相関性の高い斜め方向画素値を平均化するライン走査線補間回路が提案されている。この提案においては、補間ラインの上下のラインの各画素のうち、補間ラインの補間画素を中心として点対称な位置に位置する画素対を補間に用いる。これらの各画素対について相関を検出し、最も相関が高い画素対の方向を、補間画素に対して相関が高い画素の方向（相関方向）であるものと判定する。そして、相関方向に位置する２画素を用いて補間画素を生成するのである。
【０００６】
しかしながら、比較的細い斜めの線状の絵柄部分等については、正しく相関方向を特定することができないことがある。例えば、相関方向を特定するための画素対が線状の絵柄を跨いだ両側の背景部分に位置するものとする。この場合には、背景部分の輝度が略同一であれば、線状の絵柄内の補間画素の相関方向が線状の方向ではなく、背景に位置する画素対の方向に特定されてしまうことが考えられる。そうすると、線状の絵柄内の補間画素が背景の２画素を用いて補間されることになり、線状の絵柄に切断やぼけ、ジャギーが生じることがある。
【特許文献１】特開平１１−１４６３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、細い線状の絵柄部分等であっても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができる映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様の映像信号処理装置は、入力画像中の画素を用いた補間によって補間画素を得る映像信号処理装置において、前記入力画像に対してエッジ検出を行うエッジ検出手段と、前記エッジ検出手段のエッジ検出結果に基づいて、２点間の相関を検出するための画素対であるエッジ解析対を複数選択するエッジ情報選択手段と、前記エッジ情報選択手段によって選択されたエッジ解析対の相関を算出するエッジ情報相関算出手段と、前記エッジ情報相関算出手段の算出結果に基づいて前記補間画素の生成に用いる画素対の方向である相関方向を決定するエッジ情報相関方向決定手段と、前記エッジ情報相関方向決定手段によって決定された相関方向のエッジ解析対と一致する前記入力画像中の画素対を用いて補間画素を生成する補間画素生成手段と、を具備したことを特徴とする。
【０００９】
また、本発明の一態様の映像信号処理装置は、入力画像中の画素を用いた補間によって補間画素を得る映像信号処理装置において、前記入力画像から補間画素の生成に用いる２点間の画素対を複数選択する原画素選択手段と、前記原画素選択手段によって選択された画素対の画素値の相関を算出する相関算出手段と、前記相関算出手段の算出結果に基づいて前記補間画素の生成に用いる画素対の方向である相関方向の候補を得る相関方向判定手段と、前記入力画像に対してエッジ検出を行うエッジ検出手段と、前記エッジ検出手段のエッジ検出結果に基づいて、２点間の相関を検出するための画素対であるエッジ解析対を複数選択するエッジ情報選択手段と、前記エッジ情報選択手段によって選択されたエッジ解析対の相関を算出するエッジ情報相関算出手段と、前記エッジ情報相関算出手段の算出結果に基づいて前記補間画素の生成に用いる画素対の方向である相関方向の候補を得るエッジ情報相関方向判定手段と、前記相関方向判定手段による相関方向の候補と前記エッジ情報相関方向判定手段による相関方向の候補とに基づいて、前記補間画素の生成に用いる画素対の方向である相関方向を決定する相関方向決定手段と、前記相関方向決定手段によって決定された相関方向の画素対を用いて補間画素を生成する補間画素生成手段と、を具備したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、細い線状の絵柄部分等であっても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができるという効果を有する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１２】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態に係る映像信号処理装置を示すブロック図である。本実施の形態はインターレース信号をプログレッシブ変換する走査線補間回路に適用した例である。
【００１３】
図１において、入力端子１にはインターレース方式の映像信号が入力される。この入力映像信号は１Ｈ遅延回路１２に与えられる。１Ｈ遅延回路１２は入力された映像信号を１Ｈ（水平期間）遅延させて１Ｈ遅延回路１３に出力する。１Ｈ遅延回路１３は入力された映像信号を１Ｈ（水平期間）遅延させて出力する。１Ｈ遅延回路１２，１３によって、入力映像信号、１Ｈ遅延した入力映像信号及び２Ｈ遅延した入力映像信号が得られる。
【００１４】
１Ｈ遅延回路１２の入出力及び１Ｈ遅延回路１３の出力は、エッジ情報相関方向検出回路３６を構成するエッジ検出回路３１に与えられる。エッジ検出回路３１には連続する３ラインの映像信号が入力されることになる。エッジ検出回路３１は例えば３ラインの映像信号を用いてエッジを検出する。
【００１５】
即ち、エッジ検出回路３１は、エッジ(輪郭等)と呼ばれる物体の外縁をあらわす線、または画像を特徴づける線要素を抽出する。エッジは画像の濃度や色に急な変化がある場所に存在する。エッジは画素値が急激に変化する部分であり、エッジ検出回路３１は、例えば、画素値の変化分を取り出す微分演算によってエッジを検出する。
【００１６】
一般的には、エッジ検出の手法として、１次微分を利用する方法や２次微分を利用する方法がある。１次微分を利用するエッジ検出手法には、隣り合う画素の差分を求める方法、sobelオペレータ、robertsオペレータ等の方法がある。また、２次微分を利用するものとしては、laplacianオペレータによるエッジ検出法等が採用される。
【００１７】
エッジ検出回路３１は、例えば、エッジ検出結果として各画素に濃度等の変化を示す値（以下、エッジ解析値という）を割り当てることで、画像のエッジの情報を表す。例えば、濃度等の変化部分において画素のエッジ検出結果のエッジ解析値は変化し、画像の平坦部分では各画素のエッジ解析値は相互に近似した値となる。また、エッジ部分の下側（背景側）の平坦部分であるか上側（絵柄側）の平坦部分であるかは、エッジ解析値の変化の方向によって示される。
【００１８】
エッジ検出回路３１からのエッジ検出結果はエッジ情報選択回路３２に供給される。エッジ情報選択回路３２は、１Ｈ遅延回路を搭載しており、補間画素に対して前後ラインのエッジ解析値が得られ、２ラインの各エッジ検出結果から、補間ラインの補間画素を中心として点対称な位置に位置する２点間の相関を検出するための対（エッジ解析対）を選択する。選択した各エッジ解析対のエッジ検出結果（エッジ解析値）をエッジ情報相関値算出回路３３に出力する。
【００１９】
エッジ情報相関値検出回路３３は、エッジ情報選択回路３２によって選択された各エッジ解析対毎にエッジ解析値の相関を求める。例えば、エッジ情報相関値算出回路３３は、各エッジ解析対のエッジ解析値の差分絶対値を相関値として算出する。エッジ情報相関値算出回路３３は各エッジ解析対のエッジ解析値の差分絶対値をエッジ情報相関方向決定回路３５に出力する。
【００２０】
エッジ情報相関方向決定回路３５は、エッジ情報相関値算出回路３３から出力された相関結果、例えば、各エッジ解析対のエッジ解析値の差分絶対値によって、補間画素に相関を有する画素の方向である相関方向を決定する。例えば、エッジ情報相関方向決定回路３５は、差分絶対値が最も小さいエッジ解析対の方向を相関方向として決定してもよい。
【００２１】
エッジ情報相関方向決定回路３５からの相関方向についての情報は補間画素生成回路４１に供給される。補間画素生成回路４１には１Ｈ遅延回路１３の入出力も与えられている。補間画素生成回路４１は入力された２ラインの映像信号を用いて、この２ラインの間の補間画素を生成する。この場合には、補間画素生成回路４１は、エッジ情報相関方向決定回路３５によって決定された相関方向に位置する画素対を用いて、補間を行う。例えば、補間画素生成回路４１は、画素対の平均値によって補間画素を生成して、出力端子４２から出力するようになっている。
【００２２】
次に、このように構成された実施の形態の動作について図２乃至図５を参照して説明する。図２乃至図５はエッジ情報相関方向検出回路の動作を説明するためのものであり、図２はエッジ検出回路において用いるフィルタを説明するための説明図、図３及び図４はエッジ検出の対象となる画像の各画素値を示す説明図、図５はエッジ検出結果を示す説明図である。
【００２３】
入力端子１１を介して入力され入力映像信号は、１Ｈ遅延回路１２において１Ｈ期間遅延され、更に、１Ｈ遅延回路１３において１Ｈ遅延される。１Ｈ遅延回路１２，１３によって、３ラインの映像信号が得られる。
【００２４】
エッジ情報相関方向検出回路３６のエッジ検出回路３１には、３ラインの映像信号が入力される。エッジ検出回路３１は、入力された３ラインの映像信号を用いて画像のエッジを検出する。
【００２５】
例えば、エッジ検出回路３１は、映像信号に対して３×３の２次元フィルタ係数を適用してエッジ検出を行う。図２は２次元フィルタ係数の一例を示している。図２（ａ）はｆｘ方向（水平方向）のフィルタ係数を示し、図２（ｂ）はｆｙ方向(垂直方向)のフィルタ係数を示している。
【００２６】
いま、エッジ検出回路３１に図３に示す絵柄の画像が入力されるものとする。図３において、水平線Ａ〜Ｄは画像の各ラインを示している。○印は画素位置を示している。○印の塗り潰し及び無地によって、絵柄（画素）の濃淡（輝度）を示している。例えば、塗り潰した○印は低輝度の画素を示し、無地の○印は高輝度の画素を示している。ここでは、○印の塗り潰しの画素値＝０、○印の無地の画素値＝１００とする。図４の破線Ｐは新たに生成する補間ラインを示している。また、斜線Ｌ１及び斜線Ｌ２は、絵柄の輪郭を示し、例えば斜線Ｌ１，Ｌ２間は低輝度の画素からなる、例えば斜めの棒状の絵柄部分を示している。図３及び図４の画像は、例えば、背景に垂れ下がった１本の小枝の一部を表示した絵柄部分である。
【００２７】
インターレース−プログレッシブ変換を行うために、破線Ｐにて示す補間ライン上の補間画素Ｐ０を生成するものとする。エッジ検出回路３１には図４に示す絵柄の画像が入力される。この場合には、補間画素Ｐ０の補間に用いる上下のラインの画素対について、先ずエッジ検出を行う。
【００２８】
例えば、図４中の画素Ｂ３についてエッジ検出を行うものとする。エッジ検出回路３１は、エッジ検出に用いる画素範囲として図３の実線にて囲った３×３画素の画素信号を用いる。即ち、画素Ｂ３のエッジ検出には、画素Ａ２〜Ａ４、Ｂ２〜Ｂ４、Ｃ２〜Ｃ４の３ライン×３サンプルの画素が用いられる。この３×３画素に対し各々図２（ａ），（ｂ）に示すフィルタ係数を用いて、ｆｘ方向（水平方向）及びｆｙ方向(垂直方向)に１次微分を行い、そのｆｘ方向及びｆｙ方向の出力結果に対し、ｆｘ、ｆｙ方向それぞれの総和を取った後、絶対値処理を行う。そしてｆｘ及びｆｙ方向の絶対値の和を求める。この値がエッジ検出結果となる。
【００２９】
Ｂ３のエッジ検出結果のエッジ解析値をＢ３’とすると、
Ｂ３’＝｜ｆｘ｜+｜ｆｙ｜
＝｜０×Ａ２+０×Ａ３+０×Ａ４-１/２×Ｂ２+０×Ｂ３+１/２×Ｂ４+０×Ｃ２+０×Ｃ３+０×Ｃ４｜
＋｜０×Ａ２−１/２×Ａ３+０×Ａ４+０×Ｂ２+０×Ｂ３+０×Ｂ４+０×Ｃ２+１/２×Ｃ３+０×Ｃ４｜
＝｜（-１/２×Ｂ２）+(１/２×Ｂ４)｜+｜（-１/２×Ａ３）+(１/２×Ｃ３)｜
＝｜(１００−０)/２｜+｜(１００-１００)/２｜＝｜５０｜＝５０
このように、画素Ｂ３については、エッジ検出結果であるエッジ解析値Ｂ３’は、Ｂ３’＝５０となる。同様に、他の画素についてもエッジ解析値を求める。各画素Ｂ０〜Ｂ６，Ｃ０〜Ｃ６のエッジ解析値を夫々Ｂ０’〜Ｂ６’，Ｃ０’〜Ｃ６’とすると、エッジ解析値Ｂ０’〜Ｂ６’，Ｃ０’〜Ｃ６’は、夫々Ｂ０’＝５０，Ｂ１’＝１００，Ｂ２’＝５０，Ｂ３’＝５０，Ｂ４’＝１００，Ｂ５’＝５０，Ｂ６’＝５０，Ｃ０’＝０，Ｃ１’＝０，Ｃ２’＝５０，Ｃ３’＝１００，Ｃ４’＝５０，Ｃ５’＝５０，Ｃ６’＝１００となる。
【００３０】
図５はこの場合の各画素のエッジ解析値を示しており、塗り潰した○印はエッジ解析値が０の画素を示し、無地の○印はエッジ解析値が１００の画素を示し、斜線の○印はエッジ解析値が５０の画素を示している。
【００３１】
エッジ情報選択回路３２は、選択した各エッジ解析対のエッジ検出結果（エッジ解析値）をエッジ情報相関値算出回路３３に出力する。ここでは、説明を簡単化するために２ライン×５サンプルのエッジ情報相関方向検出範囲を設定する例について説明する。 なお、本発明は、２ライン×５サンプルに限定するものではない。
【００３２】
図５の例において、エッジ情報選択回路３２は、図５のラインＢ，Ｃに対応する映像信号が入力されると、補間画素Ｐ０を中心として点対称となるエッジ解析対ｖ（Ｂ１’−Ｃ５’）、ｗ（Ｂ２’−Ｃ４’）、ｘ（Ｂ３’−Ｃ３’），ｙ（Ｂ４’−Ｃ２’）、ｚ（Ｂ５’−Ｃ１’）を選択し、この選択した各エッジ解析対のエッジ解析値をエッジ情報相関値算出回路３３に出力する。
【００３３】
エッジ情報相関値検出回路３３は、エッジ情報選択回路３２によって選択された各エッジ解析対毎に、各エッジ解析対のエッジ解析値の差分絶対値を相関値として算出する。図５の例では、選択されたエッジ解析対ｖのエッジ解析値の差分絶対値Ｗｖは、Ｗｖ＝|Ｂ１’-Ｃ５’|＝｜１００-５０｜=５０となる。他のエッジ解析対についてエッジ解析値の差分絶対値を同様に求めると、差分絶対値Ｗｗ〜Ｗｚは夫々
Ｗｗ=｜１００-１００｜＝０、Ｗｘ=｜５０-１００｜＝５０、Ｗｙ=｜１００-５０｜＝５０、Ｗｚ=｜５０-０｜＝５０となる。
【００３４】
これらの各エッジ解析対のエッジ解析値の差分絶対値がエッジ情報相関方向決定回路３５に出力される。エッジ情報相関方向決定回路３５は、エッジ情報相関値算出回路３３より算出された各エッジ解析対のエッジ解析値の差分絶対値同士を比較し、最小の差分絶対値を求める。そして、エッジ情報相関方向決定回路３５は、最小の差分絶対値を与えるエッジ解析対の方向を相関方向に決定する。
【００３５】
図５のエッジ解析値を用いて算出された差分絶対値は、Ｗｖ＝５０，Ｗｗ＝０、Ｗｘ＝５０、Ｗｙ＝５０、Ｗｚ＝５０であり、エッジ情報相関方向決定回路３５は、画素対ｗ方向を相関方向とする。この相関方向の情報は補間画素生成回路４１に供給される。
【００３６】
補間画素生成回路４１には補間ラインの上下のラインの映像信号が入力される。補間画素生成回路４１はエッジ情報相関方向決定回路３５によって指定された相関方向の画素対を用いて補間画素を生成する。例えば、補間画素生成回路４１は、選択された画素対の平均値を補間画素の画素値として出力端子４２に出力する。補間に用いる画素対は、図５に示すように、補間画素が含まれる絵柄と同一絵柄内の画素であり、補間画素は画素対と同様の輝度となり、絵柄は補間画素の近傍において連続的に変化する。従って、絵柄に切断や、ぼけ、ジャギー等が発生することはない。
【００３７】
このように本実施の形態においては、各画素のエッジ検出の解析値の相関に基づいて画素対の相関方向を求めている。これにより、同一絵柄内の画素を用いた補間が可能であり、細い線状の絵柄部分等においても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができる。
【００３８】
＜第２の実施の形態＞
図６は本発明の第２の実施の形態に係る映像信号処理装置を示すブロック図である。図６において図１と同一の構成要素には同一符号を付して説明を省略する。
【００３９】
本実施の形態はエッジ検出の解析値の相関だけでなく、画素値の相関も利用して画素対の相関方向を決定するものである。
【００４０】
図６において、１Ｈ遅延回路１２，１３によって、入力映像信号、１Ｈ遅延した入力映像信号及び２Ｈ遅延した入力映像信号が得られる。１Ｈ遅延回路１３の入出力は、原画素相関方向検出回路２０を構成する原画素選択回路２１に与えられる。即ち、原画素選択回路２１には連続する２ラインの映像信号が入力されることになる。原画素選択回路２１は２ラインの映像信号から補間画素を生成するために用いる２点間の画素対を複数選択する。例えば、原画素選択回路２１は、原画素相関方向の検出範囲として、Ｎライン×Ｍサンプルの範囲を設定する。ここで、説明を簡単にするため、２ライン×５サンプルとする。この検出範囲内で、原画素選択回路２１は、２ラインの各画素から、補間ラインの補間画素を中心として点対称な位置に位置する画素対を選択する。原画素選択回路２１は選択した各画素対の各映像信号のレベル（以下、画素値という）を相関値算出回路２２に出力する。
【００４１】
相関値算出回路２２は、原画素選択回路２１によって選択された各画素対毎に相関値を求める。例えば、相関値算出回路２２は、各画素対の画素値の差分絶対値を相関値として算出する。相関値算出回路２２は各画素対の画素値の差分絶対値を相関方向判定回路２３に出力する。
【００４２】
相関方向判定回路２３は、相関値算出回路２２から出力された相関結果、即ち、各画素対の画素値の差分絶対値によって、補間画素に相関を有する画素対の方向である相関方向を判定する。例えば、相関方向判定回路２３は、差分絶対値が所定の閾値よりも小さいか否かによって相関方向を判定してもよい。即ち、相関方向判定回路２３は、閾値よりも小さい差分絶対値を与える画素対の方向を、相関方向の候補として検出する。この場合には、相関方向判定回路２３は、複数の画素対の方向を相関方向の候補として検出することもあり、逆に１つの候補も検出しないこともある。本実施の形態においては、相関方向判定回路２３は、検出結果を原画素相関方向検出回路２０による相関方向の候補（以下、原画素相関方向候補という）として相関方向決定回路４０に出力する。
【００４３】
一方、１Ｈ遅延回路１２の入出力及び１Ｈ遅延回路１３の出力は、エッジ情報相関方向検出回路３０を構成するエッジ検出回路３１に与えられる。エッジ検出回路３１は３ラインの映像信号からエッジを検出する。エッジ検出回路３１からのエッジ検出結果はエッジ情報選択回路３２に供給され、エッジ情報選択回路３２は、エッジ情報相関方向検出範囲内で、エッジ解析対を選択する。
【００４４】
エッジ情報選択回路３２は、選択した各エッジ解析対のエッジ検出結果（エッジ解析値）をエッジ情報相関値算出回路３３に出力する。エッジ情報相関値検出回路３３は、エッジ情報選択回路３２によって選択された各エッジ解析対毎にエッジ解析値の相関を求める。本実施の形態においては、エッジ情報相関値算出回路３３は各エッジ解析対のエッジ解析値の差分絶対値をエッジ情報相関方向判定回路３４に出力する。
【００４５】
エッジ情報相関方向判定回路３４は、エッジ情報相関値算出回路３３から出力された相関結果、例えば、各エッジ解析対のエッジ解析値の差分絶対値によって、補間画素に相関を有する画素の方向である相関方向を判定する。例えば、エッジ情報相関方向判定回路３４は、差分絶対値が所定の閾値よりも小さいか否かによって相関方向を判定してもよい。相関方向判定回路２３は、閾値よりも小さいエッジ解析値の差分絶対値を与えるエッジ解析対の方向を、相関方向の候補として検出する。この場合には、エッジ情報相関方向判定回路３４は、複数のエッジ解析対の方向を相関方向の候補として検出することもあり、逆に１つの候補も検出しないこともある。本実施の形態においては、エッジ情報相関方向判定回路３４は、検出結果をエッジ情報相関方向検出回路３０による相関方向の候補（以下、エッジ情報相関方向候補という）として相関方向決定回路４０に出力する。
【００４６】
相関方向決定回路４０は、原画素相関方向検出回路２０からの原画素相関方向候補及びエッジ情報相関方向検出回路３０からのエッジ情報相関方向候補を用いて、補間画素を生成するために用いる画素対を決定するための相関方向を決定する。
【００４７】
次に、このように構成された実施の形態の動作について図７を参照して説明する。図７は原画素相関方向検出回路２０の動作を説明するための説明図である。なお、図７は図３及び図５と同一画像の例である。
【００４８】
入力端子１１を介して入力され入力映像信号は、１Ｈ遅延回路１２において１Ｈ期間遅延され、更に、１Ｈ遅延回路１３において１Ｈ遅延される。１Ｈ遅延回路１２，１３によって、３ラインの映像信号が得られる。
【００４９】
原画素相関方向検出回路２０の原画素選択回路２１には、２ラインの映像信号が与えられる。いま、原画素選択回路２１に図７に示す絵柄の画像が入力されるものとする。図７において、水平線Ａ〜Ｄは画像の各ラインを示している。○印は画素位置を示している。○印の塗り潰し、斜線、無地によって、絵柄（画素）の濃淡（輝度）を示している。例えば、塗り潰した○印は低輝度の画素を示し、無地の○印は高輝度の画素を示している。破線Ｐは補間ラインを示している。ここでは、○印の塗り潰しの画素値＝０、○印の無地の画素値＝１００とする。また、斜線Ｌ１及び斜線Ｌ２は、絵柄の輪郭を示し、例えば斜線Ｌ１，Ｌ２間は低輝度の画素からなる、例えば斜めの棒状の絵柄部分を示している。
【００５０】
いま、インターレース−プログレッシブ変換を行うために、破線Ｐにて示す補間ライン上の補間画素Ｐ０を生成するものとする。原画素選択回路２１は、補間画素Ｐ０を中心として点対称の複数の画素対を選択する。例えば、原画素選択回路２１は原画素相関方向検出範囲としてＮライン×Ｍサンプルを設定する。ここでは、説明を簡単化するために、相関方向検出範囲を２ライン×５サンプルとする。なお、Ｎラインの映像信号を用いる場合に、遅延回路の段数を増加させる必要がある。
【００５１】
原画素選択回路２１は、図７のラインＢ，Ｃに対応する映像信号が入力されると、補間画素Ｐ０を中心として点対称となる画素対ｈ（Ｂ１−Ｃ５）、ｉ（Ｂ２−Ｃ４）、ｊ（Ｂ３−Ｃ３），ｋ（Ｂ４−Ｃ２）、ｌ（Ｂ５−Ｃ１）を選択し、この選択した各画素対の画素値を相関値算出回路２２に出力する。
【００５２】
相関値算出回路２２は原画素選択回路２１により選択された各画素対の画素値の差分絶対値を算出する。例えば、塗り潰しの画素の画素値が０で、無地の画素の画素値が１００であるものとする。相関値算出回路２２は、各画素対ｈ〜ｌの差分絶対値Ｖｈ〜Ｖｌを算出する。画素対ｈの差分絶対値Ｖｈは、｜Ｂ１−Ｃ５｜＝｜１００−０｜＝１００となる。同様に各画素対の差分絶対値Ｖｉ＝｜０−０｜＝０、Ｖｊ＝｜０−１００｜＝１００，Ｖｋ＝｜１００−１００｜＝０、Ｖｌ＝｜０−０｜＝０となる。これらの各画素対の差分絶対値が相関方向判定回路２３に出力される。
【００５３】
相関方向判定回路２３は、相関値算出回路２２より算出された各画素対の差分絶対値を、所定の閾値と比較し、条件を満たす候補を原画素相関方向候補として出力する。原画素相関方向候補は相関方向決定回路４０に出力される。
【００５４】
例えば、図７の例において、閾値条件Ｔｈを第１の閾値としての１０以下に設定するものとする。この場合には、図７の画素値を用いて算出された差分絶対値は、Ｖｈ＝１００、Ｖｉ＝０，Ｖｊ＝１００，Ｖｋ＝０、Ｖｌ＝０であり、相関方向判定回路２３は、画素対ｉ，ｋ，ｌの３つの方向を原画素相関方向候補として相関方向決定回路４０に出力する。
【００５５】
即ち、従来例のように原画素相関方向検出回路のみを用いると、相関方向として画素対ｋ，ｌの方向が選択されることもあり、背景画像の画素を用いて細い線状の絵柄部分の補間画素が生成される可能性もある。
【００５６】
一方、エッジ情報相関方向検出回路３０のエッジ検出回路３１には、３ラインの映像信号が入力される。エッジ検出回路３１は、入力された３ラインの映像信号を用いて画像のエッジを検出する。エッジ検出回路３１、エッジ情報選択回路３２及びエッジ情報相関値算出回路３３の動作は第１の実施の形態と同様である。
【００５７】
例えば、エッジ解析値は図５に示すものとなり、エッジ情報相関値検出回路３３は、エッジ解析対ｖ〜ｚのエッジ解析値Ｗｖ〜Ｗｗとして、Ｗｖ＝５０、Ｗｗ＝０、Ｗｘ＝５０、Ｗｙ＝１００、Ｗｚ＝５０を得る。
【００５８】
本実施の形態においては、これらの各エッジ解析対のエッジ解析値の差分絶対値はエッジ情報相関方向判定回路３４に出力される。エッジ情報相関方向判定回路３４は、エッジ情報相関値算出回路３３より算出された各エッジ解析対のエッジ解析値の差分絶対値を、所定の閾値と比較し、条件を満たす候補をエッジ情報相関方向候補として出力する。エッジ情報相関方向候補は相関方向決定回路４０に出力される。
【００５９】
例えば、図５の例において、閾値条件Ｔｈを第２の閾値としての１０以下に設定するものとする。この場合には、図５のエッジ解析値を用いて算出された差分絶対値は、Ｗｖ＝５０，Ｗｗ＝０、Ｗｘ＝５０、Ｗｙ＝１００、Ｗｚ＝５０であり、エッジ情報相関方向判定回路３４は、エッジ解析対ｗの１つの方向をエッジ情報相関方向候補として相関方向決定回路４０に出力する。
【００６０】
相関方向決定回路４０は、原画素相関方向検出回路２０からの原画素相関方向候補とエッジ情報相関方向検出回路３０からのエッジ情報相関方向候補とを用いて、補間画素を生成する相関方向を決定する。例えば、相関方向決定回路４０はエッジ情報相関方向候補を原画素相関方向候補よりも優先させて相関方向を決定してもよく、逆に原画素相関方向候補をエッジ情報相関方向候補よりも優先させて相関方向を決定してもよい。
【００６１】
例えば、エッジ情報相関方向候補が１つのみである場合には、この候補によって示される候補を相関方向に決定してもよい。また、複数のエッジ情報相関方向候補が存在する場合には、これらの候補のうち原画素相関方向候補にも含まれる候補を相関方向に決定してもよい。
【００６２】
相関方向決定回路４０は、原画素相関方向候補及びエッジ情報相関方向候補から、相関方向を決定することができないと判断した場合には、所定の相関方向、例えば、補間画素に対して上下の画素を示す相関方向を決定する。相関方向決定回路４０は決定した相関方向の情報を補間画素生成回路４１に出力する。
【００６３】
補間画素生成回路４１には補間ラインの上下のラインの映像信号が入力される。補間画素生成回路４１は相関方向決定回路４０によって指定された相関方向の画素対を用いて補間画素を生成する。例えば、補間画素生成回路４１は、選択された画素対の平均値を補間画素の画素値として出力する。
【００６４】
図８は変形例を示すブロック図である。図８において図６同一の構成要素には同一符号を付して説明を省略する。
【００６５】
図６の回路中のエッジ情報選択回路３２は、２ラインのエッジ検出結果を求めるために、１Ｈ遅延回路を搭載した。これに対し、図８の例は、１Ｈ遅延回路１３１及びエッジ検出回路３１１を付加することによって、エッジ情報選択回路として１Ｈ遅延回路を搭載していないエッジ情報選択回路３２’を採用したものである。
【００６６】
１Ｈ遅延回路１３１は１Ｈ遅延回路１３の出力を１Ｈ（水平期間）遅延させて出力する。エッジ検出回路３１１は、エッジ検出回路３１と同様に、例えば３ラインの映像信号を用いて、エッジを検出する。エッジ情報選択回路３２’には、エッジ検出回路３１，３１１からのエッジ検出結果が与えられる。エッジ情報選択回路３２’は、２ラインの各エッジ検出結果から、補間ラインの補間画素を中心として点対称な位置に位置する２点間の相関を検出するためのエッジ解析対を選択し、選択した各エッジ解析対のエッジ検出結果（エッジ解析値）をエッジ情報相関値算出回路３３に出力する。
【００６７】
他の構成及び作用は図６と同様である。
【００６８】
図９は相関方向決定回路４０による相関方向の決定方法の一例を示す図表である。図９の例は、エッジ情報相関方向候補及び原画素相関方向候補の発生の仕方に応じて、相関方向の決定方法を６種類に分類した例を示している。なお、相関方向決定回路４０による相関方向の決定方法は図９の例に限定されるものではない。
【００６９】
図９のＡ欄に示す第１の補間方向決定方法は、エッジ情報相関方向候補が１つの場合に、原画素相関方向候補に関係なくエッジ情報相関方向候補を用いて補間画素を生成するものである。
【００７０】
図９のＢ欄に示す第２の補間方向決定方法は、エッジ情報相関方向候補が複数かつ原画素相関方向候補が１つの場合に、エッジ情報相関方向候補中に原画素相関方向候補が同一方向に存在するとき、その同一方向を選択し、同一方向に存在しない場合は所定の補間方式を用いるものである。
【００７１】
図９のＣ欄に示す第３の補間方向決定方法は、エッジ情報相関方向候補がなく、原画素相関方向候補が１つの場合に、原画素相関方向候補を使用し、補間画素を生成するものである。
【００７２】
図９のＤ欄に示す第４の補間方向決定方法は、原画素相関方向候補が複数かつエッジ情報相関方向候補が１つの場合に、原画素相関方向候補中にエッジ情報相関方向候補が同一方向に存在するとき、その同一方向を用いて補間画素を生成すし、同一方向に存在しない場合は、所定の補間式を用いて補間画素を生成するものである。
【００７３】
図９のＥ欄に示す第５の補間方向決定方法は、原画素相関方向候補が複数かつエッジ情報相関方向候補も複数の場合に、所定の補間式を用いて補間画素を生成するものである。
【００７４】
図９のＦ欄に示す第６の補間方向決定方法は、原画素相関方向候補が存在しない場合に、エッジ情報相関方向候補に関係なく所定の補間式を用いて補間画素を生成するものである。
【００７５】
図７及び図２〜図５の例では、原画素相関方向候補として画素対ｉ，ｋ，ｌの３つの方向が求められ、エッジ情報相関方向候補としてエッジ解析対ｗの１つの方向が求められている。即ち、この場合には、図９の第４の補間方向決定方法に分類され、同一方向に相関方向が存在するので、画素対ｉ（ｗ）の方向が相関方向に決定される。即ち、補間画素の生成に用いられる画素対は、細い線状の絵柄部分の画素である。
【００７６】
図７の画素値の例では、補間画素生成回路４１は、（Ｂ２+Ｃ４）/２＝（０+０）/２＝０を算出し、補間画素Ｐ０の画素値として０を出力する。同一絵柄内の画素を用いて補間画素を生成するので、良好な補間画素が生成される。
【００７７】
なお、図９の例では、エッジ情報相関方向候補が存在する場合でも、原画素相関方向候補が存在しない場合には、所定の補間式を用いるように制御されるが、この場合にはエッジ情報相関方向候補のいずれかに相関方向を設定してもよい。
【００７８】
更に、相関方向候補の判定の元となった相関値の大小を用いてもよい。例えば、図９の多候補の場合には、画素値の差分絶対値やエッジ解析値の差分絶対値がより小さいものを選択するようにしてもよい。
【００７９】
このように本実施の形態においては、各画素の画素値の相関に基づいて補間画素の生成に用いるエッジ解析対の相関方向を求めるだけでなく、各画素のエッジ検出の解析値の相関に基づいてエッジ解析対の相関方向を求めている。これにより、各画素の画素値の相関に基づく相関方向の検出に誤りが含まれる場合でも、エッジ検出の解析値の相関に基づく相関方向の検出結果を利用することで、適正に相関方向を検出することができる。こうして、細い線状の絵柄部分等においても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１の実施の形態に係る映像信号処理装置を示すブロック図。
【図２】エッジ検出回路において用いるフィルタを説明するための説明図。
【図３】エッジ検出の対象となる画像の各画素値を示す説明図。
【図４】エッジ検出の対象となる画像の各画素値を示す説明図。
【図５】エッジ検出結果を示す説明図。
【図６】本発明の第２の実施の形態に係る映像信号処理装置を示すブロック図。
【図７】原画素相関方向検出回路２０の動作を説明するための説明図。
【図８】変形例を示すブロック図。
【図９】相関方向決定回路４０による相関方向の決定方法の一例を示す図表。
【符号の説明】
【００８１】
２０…原画素相関方向検出回路、３０…エッジ情報相関方向検出回路、３１…エッジ検出回路、３２…エッジ情報選択回路、３３…エッジ情報相関値算出回路、３４…エッジ情報相関方向判定回路、４０…相関方向決定回路。  
【図１】
2007181132.tif 000003
【図２】
2007181132.tif 000004
【図３】
2007181132.tif 000005
【図４】
2007181132.tif 000006
【図５】
2007181132.tif 000007
【図６】
2007181132.tif 000008
【図７】
2007181132.tif 000009
【図８】
2007181132.tif 000010
【図９】
2007181132.tif 000011