(57)【要約】      （修正有）【課題】画像内のエッジ補正時においてエイリアシング・クローリング妨害を軽減することができるエッジ再構成装置を提供する。【解決手段】本発明のエッジ再構成装置は、エッジ再構成回路７が、画像信号からエッジを検出するエッジ検出部１３と、検出したエッジに対して、エッジ特徴量を抽出するエッジ特徴抽出部１５と、抽出したエッジ特徴量により、異なるタイミングの画像間において検出したエッジが相互に合致するかをマッチングにより判定し、異なるタイミングの画像間において対応するエッジの検出時のエッジ特徴より出現位置座標を予測する特徴データ処理部１７と、予測された出現位置座標にエッジ特徴量により推定されるエッジを描画するエッジ描画部２３とを備える。【選択図】        図６
2004304505.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を受けて、動画中のエッジを再構成して描画するためのエッジ再構成装置であって、
前記画像信号から、領域境界を示す片エッジ、上端側背景面の輝度と下端側背景面の輝度が異なる混合エッジなどのエッジを検出するエッジ検出手段と、
検出した前記エッジに対して、エッジ特徴量を抽出するエッジ特徴抽出手段と、
抽出した前記エッジ特徴量により、異なるタイミングの画像間において検出した前記エッジが相互に合致するかをマッチングにより判定し、前記異なるタイミングの画像間において対応するエッジの検出時のエッジ特徴量より出現位置座標を予測する特徴データ処理手段と、
予測された前記出現位置座標に前記エッジ特徴量により推定されるエッジを描画するエッジ描画手段と、
を備えることを特徴とするエッジ再構成装置。
【請求項２】
前記エッジ特徴抽出手段は、エッジの傾きを算出し、
前記特徴データ処理手段は、算出したエッジ傾きをもとに、出現位置座標を予測することを特徴とする請求項１に記載のエッジ再構成装置。
【請求項３】
前記エッジ特徴抽出手段は、エッジを２等分して、それぞれに対して算出した中点座標を用いて、エッジ傾きを算出することを特徴とする請求項２に記載のエッジ再構成装置。
【請求項４】
前記エッジ検出手段は、不均一な輝度をもつ不均一性エッジを検出し、
前記エッジ特徴抽出手段は、オブジェクトおよび背景の輝度レベルを抽出し、前記特徴データ処理手段は、不均一性エッジの形状を単一輝度をもつエッジと同様に推定した後、抽出した輝度レベルを用いて、補間画素の輝度レベルを算出することを特徴とする請求項１から３のいずれかに記載のエッジ再構成装置。
【請求項５】
画像信号を受けて、動画中のエッジを再構成して描画するエッジ再構成方法であって、
前記画像信号から、領域境界を示す片エッジ、上端側背景面の輝度と下端側背景面の輝度が異なる混合エッジなどのエッジを検出するステップと、
検出した前記エッジに対して、エッジ特徴量を抽出するステップと、
抽出した前記エッジ特徴量により、異なるタイミングの画像間において検出した前記エッジが相互に合致するかをマッチングにより判定し、前記異なるタイミングの画像間において対応するエッジの検出時のエッジ特徴量より出現位置座標を予測するステップと、
予測された前記出現位置座標に前記エッジ特徴量により推定されるエッジを描画するステップと、
を備えることを特徴とするエッジ再構成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に関し、特に、飛越し走査画像を順次走査変換することによって得られた順次走査画像やスケーリング処理によって得られた拡大画像のエッジを再構成するエッジ再構成装置およびエッジ構成方法に関する。
【０００２】
【従来の技術】
（エイリアシング・クローリング妨害）
インタレース映像において、図１に示すような高輝度部分の幅が２ｌｉｎｅ（ｌｉｎｅ数は走査線数に対応、ＮＴＳＣなら５２５本）より狭い水平ラインが等間隔で並ぶ窓の格子のような部分を含む物体が縦に等速度で動いている場合、ぼけたラインが等速度で縦方向に流れフリッカを発生する現象を観察することができる。この現象をグラフで表すと図２となる。図２は、図１内の破線上に位置する画素の輝度レベルを３フィールド（ｃ２００，ｃ２０１，ｃ２０２フィールド）に渡って表している。今、ｃ２００フィールドに注目した場合、本来一定輝度であるはずの各ラインのピーク輝度がラインによりばらついており、また等間隔で並んでいるはずの水平ラインのピーク輝度を示す画素の間隔がばらついていることが分かる。また、３フィールドに渡ってみると、ピーク輝度の低いボケたラインの位置が、徐々に縦方向に動いていることが分かる。すなわち、ｃ２００フィールドでは９８ライン付近、ｃ２０１フィールドでは１０３ライン付近、ｃ２０２フィールドでは１０６ライン付近を中心に水平ラインが低輝度となりボケていることが分かる。
【０００３】
この現象の発生は折り返し（エイリアシング）に起因しているが、ボケた水平ラインが流れるという現象をより端的に表すため、本明細書では、以下、この現象をエイリアシング・クローリングと呼ぶものとする。
【０００４】
上記の例では、等間隔の水平ラインが縦方向に等速度に動く場合を示したが、一般にエイリアシング・クローリングは、水平に近い水平エッジが縦方向成分を含んで動く場合に発生する。すなわち、水平に近いエッジが２×ｎ（ｎ＝０，±１，  ±２・・・）［ｌｉｎｅ］以外の速度で垂直に動くと、水平エッジ部においてエイリアシング・クローリング妨害が発生する。例えば従来では、エイリアシング・クローリング妨害を軽減するために水平ラインを検出するステップと、水平ライン内の最高輝度レベルを獲得するステップと、水平ラインの上下幅中央の輝度レベルを最高輝度レベルに近づけるように補正するステップを備えた水平ライン補正方法を提案するものがある（特許文献１参照）。
【０００５】
【特許文献１】
特開２００３−２２０６４号公報
【０００６】
【発明が解決しようとする課題】
画像におけるエッジの種類には様々なものが想定されるが、エッジを再構成する方法を実用化する場合、これら様々な種類のエッジに対応できることが好ましい。本発明の目的は、複数種類のエッジに対応することのできるエッジ再構成方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明のある態様は、画像信号を受けて、動画中のエッジを再構成して描画するためのエッジ再構成装置に関する。このエッジ再構成装置は、前記画像信号から、領域境界を示す片エッジ、上端側背景面の輝度と下端側背景面の輝度が異なる混合エッジなどのエッジを検出するエッジ検出手段と、検出した前記エッジに対して、エッジ特徴量を抽出するエッジ特徴抽出手段と、抽出した前記エッジ特徴量により、異なるタイミングの画像間において検出した前記エッジが相互に合致するかをマッチングにより判定し、前記異なるタイミングの画像間において対応するエッジの検出時のエッジ特徴量より出現位置座標を予測する特徴データ処理手段と、予測された前記出現位置座標に前記エッジ特徴量により推定されるエッジを描画するエッジ描画手段とを備える。このエッジ再構成装置によると、片エッジや混合エッジなどの複数種類のエッジを再構成することができる。
【０００８】
前記エッジ特徴抽出手段は、エッジの傾きを算出し、前記特徴データ処理手段は、算出したエッジ傾きをもとに、出現位置座標を予測してもよい。前記エッジ特徴抽出手段は、エッジを２等分して、それぞれに対して算出した中点座標を用いて、エッジ傾きを算出してもよい。前記エッジ検出手段は、不均一な輝度をもつ不均一性エッジを検出し、前記エッジ特徴抽出手段は、オブジェクトおよび背景の輝度レベルを抽出し、前記特徴データ処理手段は、不均一性エッジの形状を単一輝度をもつエッジと同様に推定した後、抽出した輝度レベルを用いて、補間画素の輝度レベルを算出してもよい。
【０００９】
本発明の別の態様は、画像信号を受けて、動画中のエッジを再構成して描画するエッジ再構成方法に関する。このエッジ再構成方法は、前記画像信号から、領域境界を示す片エッジ、上端側背景面の輝度と下端側背景面の輝度が異なる混合エッジなどのエッジを検出するステップと、検出した前記エッジに対して、エッジ特徴量を抽出するステップと、抽出した前記エッジ特徴量により、異なるタイミングの画像間において検出した前記エッジが相互に合致するかをマッチングにより判定し、前記異なるタイミングの画像間において対応するエッジの検出時のエッジ特徴量より出現位置座標を予測するステップと、予測された前記出現位置座標に前記エッジ特徴量により推定されるエッジを描画するステップとを備える。このエッジ再構成方法によると、片エッジや混合エッジなどの複数種類のエッジを再構成することができる。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
【００１１】
【発明の実施の形態】
図３は、本発明の実施の形態１の走査変換回路１００の構成を示す概略ブロック図である。この走査変換回路１００は、フィールド間補間とフィールド内補間を動きの度合いにより適応的に切換える従来の走査変換回路の後段に、エッジを補正して再構成する回路が追加された構成をもつ。具体的に、走査変換回路１００は、動きベクトル検出回路１、フィールドメモリ２、フィールド間補間部３、フィールド内補間部４、フィールドメモリ５、混合回路６およびエッジ再構成回路７を備える。
【００１２】
２：１インタレース走査画像信号（入力画像信号）が、動きベクトル検出回路１、第１のフィールドメモリ２、フィールド間補間部３およびフィールド内補間部４に送られる。第１のフィールドメモリ２に蓄積されたデータ（１フィールド前のデータ）は、フィールド間補間部３、第２のフィールドメモリ５に送られる。第２のフィールドメモリ５に蓄積されたデータ（２フィールド前のデータ）は、動きベクトル検出回路１に送られる。動きベクトル検出回路１は、現フィールドのデータおよび第２のフィールドメモリ５からの２フィールド前のデータとに基づいて、両フィールド間での動きベクトルを検出する。動きベクトル検出回路１から混合回路６には、動きの有無や動きの度合いを示す信号が送られる。
【００１３】
フィールド間補間部３は、現フィールドのデータおよび第１のフィールドメモリ２からの１フィールド前のデータとに基づいて、フィールド間補間処理を行なう。フィールド間補間部３の出力（フィールド間補間順次走査信号）は、混合回路６に送られる。
【００１４】
フィールド内補間部４は、現フィールドのデータに基づいて、フィールド内補間処理を行なう。フィールド内補間部４の出力（フィールド内補間順次走査信号）は、混合回路６に送られる。
【００１５】
混合回路６は、たとえば、動きベクトル検出回路１から送られてくる動きの度合いに応じて、フィールド間補間順次走査信号とフィールド内補間順次走査信号とを加重加算する。この際に、動きの度合いが大きいほど、フィールド内補間順次走査信号の加重値が大きくされる。混合回路６から出力される適応順次走査画像信号は、エッジ再構成回路７に送られる。
【００１６】
エッジ再構成回路７は、後に説明するように、適応順次走査画像内のエッジを検出し、検出したエッジの特徴の抽出を行った上で、エッジの予測位置を導出する。さらに、エッジ再構成回路７は、この予測位置に対して、エッジを再構成する。
【００１７】
図４は、複数種類のエッジの画面イメージおよび輝度分布を示す。まず、エッジの種類を定義する。ここでは、両エッジ、片エッジ、混合エッジの３種類のエッジを定義する。
【００１８】
図４のａ−１）およびｂ−１）に示すように、両エッジは、単一輝度の背景面に１本のラインが描画されている場合に、１本のラインの上端エッジと下端エッジとを合わせたエッジを示すものとする。図４のａ−２）およびｂ−２）に示すように、片エッジは、輝度の異なる２つの平面が水平に重なるように位置するような部位において、領域境界を示すものとする。また、図４のａ−３）およびｂ−３）に示すように、混合エッジは、両エッジの上端側背景面の輝度と下端側背景面の輝度が異なるエッジを示すものとする。
【００１９】
以下、エイリアシング・クローリング妨害を除去する技術の概要について説明する。図５は、実施の形態によるエイリアシング・クローリング補正手順を表しており、各ステップで行う処理を列挙すると以下のようになる。
【００２０】
ステップ１）原画より水平エッジを検出する。画像において、水平エッジは、例えば水平方向または水平方向から僅かに傾いたラインを構成する。
ステップ２）検出した水平エッジからエッジの特徴を抽出する。ここでエッジ特徴とは、１つのエッジを構成する各走査線ごとの平均輝度を求め、これら平均輝度のセットに対する最大値、最小値、総和の輝度情報ならびに重心位置などにより表現される。なお、エッジの垂直方向の重心は、エッジというオブジェクトが背景の上に載っているとみなし、背景部分の影響を除去した各走査線の平均輝度から求める。
【００２１】
ステップ３）ステップ２）で抽出したエッジ特徴より、異なるフィールド間において検出したエッジがどのエッジと合致するかをエッジ・マッチングにより判定する。
ステップ４）異なるフィールド間において同一とみなされたエッジの検出時のエッジ特徴より出現位置を決定する。
ステップ５）予測座標にエッジ特徴より推定されるエッジを描画する。
【００２２】
図６は、図３に示したエッジ再構成回路７の構成を説明するための概略ブロック図である。上述した通り、エッジ再構成回路７は、混合回路６の出力の現フィールドの画像信号からエッジを検出し、次フィールドの補正ラインの予測を行なうとともに、前フィールドまでのエッジ検出状況に応じた予測値から現フィールドのエッジの補正を行なう。エッジ再構成回路７は、入力用ラインメモリ部１１、エッジ検出部１３、エッジ特徴抽出部１５、特徴データ処理部１７、データベース１９、エッジ描画部２３、混合係数用ラインメモリ部２７、描画用ラインメモリ部２５および混合回路２９を備える。
【００２３】
以下、図６を参照して、エッジ再構成回路７の構成および動作を説明する。入力用ラインメモリ部１１は、映像のエッジを検出するために映像入力を一時的に蓄える。
【００２４】
エッジ検出部１３は、エッジを検出するためディジタルフィルタ等のエッジ検出回路（図示せず）を内蔵し、検出したエッジの水平開始位置（ｘ座標）ＳＸ、水平終了位置（ｘ座標）ＥＸ、検出エッジの中央ｙ座標を出力すると共に、検出したエッジの走査線毎のエッジ平均輝度Ｌｅｖを計算し出力する。なお、エッジ検出部１３で検出するエッジは、誤検出を少なくしかつ後述するエッジマッチングでの処理量を減らすため、水平方向で所定画素以上の、例えば２０画素以上のエッジのみを検出するというように、際だったエッジのみを検出するものとする。
【００２５】
エッジ特徴抽出部１５は、エッジ検出部１３から得た上記情報（ＳＸ、ＥＸ、検出エッジの中央ｙ座標、Ｌｅｖ）より、エッジの垂直重心座標（ｙ座標）ＹＭ、エッジ内の各走査線平均輝度の最高輝度Ｌｍａｘ、最小輝度Ｌｍｉｎ、エッジ総輝度Ｌｓｕｍを算出する。
【００２６】
特徴データ処理部１７は、エッジ特徴抽出部１５により抽出された特徴と、データベース１９に格納されたエッジ履歴とに基づいて、エッジマッチングと補正用のデータを生成し、その他、エッジ特徴を抽出した後のエッジ再構成を行うための様々な処理を実行する。
【００２７】
特徴データ処理部１７は、生成した補正用データを、エッジ描画部２３に与える。エッジ描画部２３は、補正用データを描画用ラインメモリ部２５に与えることで、エッジ補正のデータを用いた描画処理を行う。このとき、エッジ描画部２３は、混合係数用ラインメモリ部２７へ格納する混合係数を変えることによって、入力画像データを混合回路２９により描画用ラインメモリ部２５内の画像データと置き換えるかを制御する。
【００２８】
混合エッジを有する物体が下方向に下がっていく様子を固定カメラで撮影した図７のａ）に示すケースを例に、もう少し掘り下げて、本手法で提案する補正手法について説明する。
【００２９】
図７のｂ）はプログレッシブＣＣＤで撮像した場合のオブジェクトを構成する各走査線の輝度レベルを表している。また、図中、縦軸は走査線位置であり、横軸は映像のフィールド番号を単位とする時間軸である。なお図７のｂ）は、２：１インタレース映像入力に対して、本明細書で説明する技術を用いてプログレッシブ映像に変換した際の結果でもあることに注意されたい。
【００３０】
図７のｃ）は２：１インタレース映像入力をライン間補間した場合のオブジェクトに対応する各走査線の輝度レベルを表しており、本手法ではこれをベースにエッジ検出およびエッジ補正を行う。本手法では、ある期間に渡って同一のエッジ・オブジェクトを観察し、エッジの輝度重心位置の予測を行い、その予測位置に対して予測したエッジ形状を配置するような形で描画することによって補正を行う。
【００３１】
具体的には、下記の手順に従い行う。
ステップ１）インタレース映像入力に対して、エッジ検出部１３がエッジを検出し（検出位置は図７のｃ）中、菱形で示す。）、エッジ特徴抽出部１５が、検出したエッジの周辺走査線も含めたエッジの輝度レベルの重心（図７のｃ）中、三角で示す。）をフィールド毎に求める。
【００３２】
ステップ２）特徴データ処理部１７が、各フィールドで検出したエッジの対応を求める。すなわち、ある１つの実存するエッジが各フィールドのどのエッジ検出結果に対応するかを決定する。
【００３３】
ステップ３）特徴データ処理部１７が、ある１つの実存するエッジに対応する各フィールドの検出されたエッジの輝度重心位置から、現フィールドのエッジの輝度重心位置を予測する（図７のｃ）中−で示す。）。
【００３４】
ステップ４）エッジの形状推定は、まず、マッチングした各時点でのエッジ同士を、各々の時点でのエッジ検出位置を基準として相対的に同一走査線同士の輝度を積算し、全体的な積算輝度パターンを得る。そして全体的な積算輝度パターン（図７のｄ）参照）に対し重心を求め、その重心を維持するように変形し推定エッジ形状を得る（図７のｅ）参照）。
【００３５】
ステップ５）変形して得られた推定エッジ形状（ステップ４）で算出）はその重心がマッチングによって求めたエッジの予測重心位置（ステップ３）で算出）に合致するようにすることにより、画面内におけるエッジの位置および形状が決定する（図７のｆ）参照）。
【００３６】
ステップ６）ステップ５）で決定されたエッジの位置および形状は、画素以下の精度を持ち、これを画素上に写像することにより各画素の輝度値を得る（図７のｇ）参照）。
【００３７】
なお、スケーリングに本手法を適応する場合は、図８に示すように写像する相手の画素の大きさが異なるだけである。この場合、推定エッジ形状が入力画素以下の精度を持つため、プログレッシブＣＣＤで撮像した場合より高い垂直解像度で再現可能となる。
【００３８】
このように、入力映像からオブジェクト形状を推定し、推定したオブジェクト形状を写像することにより、入力映像から出力映像に最高の画質で映像を変換することが可能となる。
【００３９】
以下、本手法の詳細を説明する。まず、水平エッジ検出フィルタにより、画像中の水平エッジを検出する。図９は、原画から水平エッジを検出する例を示す。図９では、検出された１本の水平エッジが複数（５本の）走査線により構成されている。Ｌｅｖ［ｉ］  （ｉ＝１〜５）は各走査線の水平エッジ部の走査線平均輝度を表す。今、ｐ［ｘ，ｙ］を（相対）座標（ｘ，ｙ）に位置する画素の輝度値とするとＬｅｖ［ｉ］は次式で定義される。
【数１】
2004304505.tif 000003
ここで、ＳＸ，ＥＸは、おのおの検出されたエッジの水平開始位置（ｘ座標）、水平終了位置（ｘ座標）を表す。また、Σは積算を表す。
【００４０】
エッジ特徴抽出では、エッジ毎にエッジの特徴を抽出する。抽出される特徴量および抽出された特徴量から導出される値を表１にまとめる。
【００４１】
【表１】
2004304505.tif 000004
このように、エッジの特徴には、エッジの水平開始位置（ｘ座標）ＳＸ、水平終了位置（ｘ座標）ＥＸ、エッジの垂直重心座標（ｙ座標）ＹＭ、エッジ内の各走査線平均輝度の最高輝度Ｌｍａｘ、最小輝度Ｌｍｉｎ、エッジ総輝度Ｌｓｕｍ等がある。エッジの水平開始位置ＳＸおよび水平終了位置ＥＸはエッジ検出より直接求めることができるが、その他は次式により求める。
【００４２】
（エッジ内の各走査線平均輝度に関する変数）
（数式２）  最大輝度  Ｌｍａｘ  ＝  Ｍａｘ（Ｌｅｖ［１］，Ｌｅｖ［２］，・・・，Ｌｅｖ［５］）
（数式３）  最小輝度  Ｌｍｉｎ  ＝  Ｍｉｎ（Ｌｅｖ［１］，Ｌｅｖ［２］，・・・，Ｌｅｖ［５］）
（数式４）  上端最小輝度  ＬｍｉｎＵ  ＝  Ｍｉｎ（Ｌｅｖ［１］，Ｌｅｖ［２］，Ｌｅｖ［３］）
（数式５）  中央最大輝度  Ｌｍｉｄ    ＝  Ｍａｘ（Ｌｅｖ［２］，Ｌｅｖ［３］，Ｌｅｖ［４］）
（数式６）  下端最小輝度  ＬｍｉｎＤ  ＝  Ｍｉｎ（Ｌｅｖ［３］，Ｌｅｖ［４］，Ｌｅｖ［５］）
ここで、Ｍａｘ（ｘ１，ｘ２，・・・）は系列ｘ１，ｘ２，・・・から最大値を抽出する関数を、Ｍｉｎ（ｘ１，ｘ２，・・・）は系列ｘ１，ｘ２，・・・から最小値を抽出する関数を表す。
【００４３】
（エッジ全体に関する変数）
エッジの水平開始位置  ＳＸ  エッジ検出にて直接取得
エッジの水平終了位置  ＥＸ  エッジ検出にて直接取得
【数２】
2004304505.tif 000005
【００４４】
なお、本手法では、エッジの重心を計算する際に、各走査線の輝度レベルＬｅｖ［ｉ］から最小輝度を引くことによってエッジと背景を分離し、エッジ重心の算出精度を高めている。このようにして求めたエッジの特徴は、履歴として保存し、エッジ・マッチング及びエッジ形成に利用する。
【００４５】
エッジ・マッチングでは、検出したエッジが以前のフィールド内のどのエッジと対応するかを判定し、その情報をデータベースに履歴として残す。すなわち、エッジ特徴抽出で得た現時点のフィールド上の検出したエッジの特徴Ｓと、データベース内の過去の履歴より予測したエッジの特徴Ｓ’とのマッチングを行う。具体的には、次式で表すように評価関数Ｑが可変閾値ＴＨ１以下である場合に、マッチングがとれたとする。
【数３】
2004304505.tif 000006
ここで、Ａ，Ｂ，・・・，Ｆはエッジ特徴のうちどの要素に重きをおいてマッチングを取るかを制御する係数である。
【００４６】
マッチング開始段階では、予測値を算出することはできないので、Ｓ’は前フィールドのエッジ特徴の各パラメータとなる。マッチングが進み、１本のエッジに対してｎフィールド分（ｎは２以上）のデータが溜まると、過去のデータより後述する予測法を用いて得た予測値とマッチングを行う。従って、マッチング開始段階ではＴＨ１は比較的大きく、マッチングが進むにつれＴＨ１は徐々に小さくなる。
【００４７】
このマッチング手法の利点は、図９に示すように数フィールドに渡って安定して取得できるエッジを補正対象として選別することができることである。すなわち、仮に間違ったマッチングを行ったとしても、数フィールド後には間違った検出エッジの履歴に対応するエッジは検出できないため自然と淘汰される。従って、マッチングにより生き残ったエッジに対してのみ補正を行うことにより安定したエッジ補正が可能となる。
【００４８】
このような特性を出すためエッジ・マッチングでは、図１０に示すように、検出したエッジとマッチングした履歴Ｐは同一フィールド内の他の検出エッジとのマッチング判定対象から除外するようにしている。また、１フィールド内でマッチングが取れないエッジ履歴は、次のフィールドでは消去するようにしている。
【００４９】
なお、このエッジ履歴の消去条件に関しては、エッジ検出の継続度合いにより履歴を消去するか否かを判定する構成を加えてもよい。また、エッジ・マッチングにより検出が予測されるエッジの位置において、制御係数を能動的に可変させることにより、エッジ検出精度を向上させることも可能である。
【００５０】
エッジの特徴の予測は、座標関連（ｘ座標やｙ座標）においては回帰直線を求め、輝度関連（総輝度、最大輝度、最小輝度）に関しては平均値、極大値、極小値を求めることにより予測を行う。一般に、回帰直線を正確に求めると処理が膨大となるため、本実施の形態では、図１１に示すようにＮ個のサンプルＳｉ  （ｉ＝１〜Ｎ）を２分割し、分割した２つのサンプル群それぞれの平均値を通る直線の方程式を求め、その方程式から予測値Ｓ’を得る。
【００５１】
以下、この簡易的な予測値Ｓ’の求め方を説明する。
今、第ｋ−１フィールドにおいて第ｋフィールドの特長Ｓｋ’を求める場合を考える。第ｋ−１フィールドから第ｋ−Ｎフィールドまでの履歴データを用い、第ｋ−１フィールドにおける回帰直線の方程式の傾きγｋ−１及びｙ軸（特徴軸Ｓ軸）との交点δｋ−１を求め、次式に示す第ｋフィールドの特徴の予測値Ｓｋ’を求める。
（数式１２）  Ｓｋ’＝γｋ−１×ｋ＋δｋ−１
【００５２】
ここで、直線の方程式の傾きγｋ−１及びｙ軸（特徴軸Ｓ軸）との交点δｋ−１は、以下のようになる。
【数４】
2004304505.tif 000007
なお、予測重心Ｇ’は各フィールドのエッジの重心Ｇに上記の処理を行うことにより得る。
【００５３】
エッジの形状予測について説明する。エッジ形状予測では、過去のエッジ特徴やエッジの特徴予測より得られたエッジの情報を用い、本来のエッジ形状を推定する。処理的には、まず、マッチングが確立したエッジに対し、各々の時点でのエッジ検出位置を基準として相対的に同一走査線同士の輝度を積算し、全体的な積算輝度パターンを求める。そして、この全体的な積算輝度パターンに対し重心を求め、その重心を維持するように変形し推定エッジ形状を得る。
【００５４】
以下、エッジ形状予測時に使用するパラメータについて説明する。
まず、図１２を用い積算輝度パターンの要素である走査線平均輝度について説明する。マッチングした各時点でのエッジ同士を、各々の時点でのエッジ検出位置（図中、菱形で示す。）を基準として相対的に同一な走査線同士（図中一点鎖線で結んだ走査線同士）の輝度を積算する。そして、各々の輝度積算値を積算した個数で割り、走査線平均輝度ＹＬｅｖ［ｊ］を求める。
【数５】
2004304505.tif 000008
ここで、ｉはフィールドを、ｊは積算の基点となったエッジ検出位置を３（本例では１〜５の５走査線単位で処理するので中心は３）とした相対走査線番号を表す。従って、Ｌｅｖｉ［ｊ］は第ｉフィールドの相対走査線位置ｊの走査線平均輝度を表す。
【００５５】
なお、ＹＬｅｖ［２］およびＹＬｅｖ［４］に関しては、本例がライン間補間後のフィールド画像に対し処理を行うため、次式により導出することで実装時のＬｅｖ値を退避する領域の削減が可能となる。
（数式１６）  ＹＬｅｖ［ｊ］  ＝（ＹＬｅｖ［ｊ−１］  ＋ＹＬｅｖ［ｊ＋１］）／２
その他のエッジ形状推定処理に使用する変数は、以下のように各々定義され、いずれもエッジ特徴予測段階にて取得可能である。
【００５６】
【数６】
2004304505.tif 000009
以下、エッジ形状推定手順について図１３を用いて説明する。なお図１３は、混合エッジに対するエッジ形状推定手順を図示しており、各図の縦軸を輝度、横軸を入力映像における垂直方向の座標の相対座標で表している。
【００５７】
形状推定処理では、各フィールドに渡って統合的な意味を持つ走査線平均輝度ＹＬｅｖの組の重心を求め、その重心を維持しかつ総輝度を保持するように変形し推定エッジ形状を得る。手順的には、まず、図１３のｂ）に示すように求めるエッジ形状の重心ｇと上端側の輝度変化位置との距離Δαと、下端側の輝度変化位置との距離Δβとを求める。そして、得た推定エッジ形状の重心ｇをエッジ特徴予測で得た予測重心Ｇ’に一致させ（図１３のｃ）参照）、絶対座標系のエッジ上端側の輝度変化位置αと下端側の輝度変化位置βを求める。
（数式２３）  α＝  Ｇ’−Δα
（数式２４）  β＝  Ｇ’＋Δβ
【００５８】
α、βは絶対座標系であるため推定したエッジ形状は一意に画素に対応するので、クローリング補正に用いるα端およびβ端周辺の画素の輝度レベルは、推定エッジ形状を画素に写像を行うことによって得ることができる（図１３のｄ）参照）。
【００５９】
次式が成り立つ場合に、両エッジのエッジ形状推定は、以下の方法に従い行う。
（数式２５）  ＹｍｉｎＵ＝ＹｍｉｎＤ
エッジ部分の最高輝度レベルをＹｍａｘと仮定してエッジ形状推定を行う。
（数式２６）  Δα＝Δβ＝（Ｙｓｕｍ−５×Ｙｍｉｎ）／｛２×（Ｙｍａｘ−Ｙｍｉｎ）｝
数式２３と数式２４により絶対座標を求め、αおよびβ上の走査線およびその周辺の走査線の輝度レベルを次式により求めることができる。
【数７】
2004304505.tif 000010
【００６０】
求めたＬｅｖ’［ｉ］をエッジの水平開始予測位置ＳＸ’からエッジの水平終了予測位置ＥＸ’に書き込むことによってエイリアシング・クローリング妨害を軽減することができる。
【００６１】
次に、混合エッジの形状推定処理について、図１３に示したＹｍｉｎＵ＞ＹｍｉｎＤなる形状を有する混合エッジを例に説明する。混合エッジの形状推定では、まず、次式によりＹＬｅｖによって形成される輝度パターンの重心ｇを求める。
【数８】
2004304505.tif 000011
変形後に重心ｇを維持するためには、ｇを中心に上側のモーメントと下側のモーメントが等しくなる必要がある。これを、数式化すると次式で表されるモーメント保持式を得る。
【数９】
2004304505.tif 000012
【００６２】
これを展開すると次式を得る。
【数１０】
2004304505.tif 000013
また、総輝度Ｙｓｕｍも変形後維持するためには次式で表される総輝度保持式を満足する必要がある。
（数式３１）  Ｙｓｕｍ  ＝（ｇ＋Δβ）×（Ｙｍｉｄ−ＹｍｉｎＤ）−（ｇ−Δα）×（Ｙｍｉｄ−ＹｍｉｎＵ）
上記のモーメント保持式と総輝度保持式との連立方程式を解くと次式を得る。
【数１１】
2004304505.tif 000014
ここで、ＳＱＲＴ（ｘ）はｘの平方根を表す。また、εは次式を表すものとする。
【００６３】
（数式３４）  ε＝Ｙｓｕｍ−２×（ＹｍｉｎＵ−ＹｍｉｎＤ）×ｇ
このεが負になる場合や、求めたα、βが０〜５の範囲を超える等の次式で表される条件を満足する場合は、後述する片エッジの補正手順に従いエッジ形状を推定する。
（数式３５）  ０≦（Ｇ−α）＜５、０＜（Ｇ＋β）≦５、（Ｇ−α）＜（Ｇ＋β）、０＜ε
補正する走査線の輝度レベルは、両エッジの場合とほぼ同様で、次式により得る。
【数１２】
2004304505.tif 000015
【００６４】
片エッジのエッジ形状の推定について、図１４に示すＹｍｉｎＵ＞ＹｍｉｎＤなる形状を有する片エッジを例に説明する。片エッジのエッジ形状推定は、両エッジとほぼ同じで、まず数式２６を用いてΔαないしΔβを求める。しかし、数式２３と数式２４の適応段階において、両エッジでは輝度変化位置はα、βと２つあったが片エッジではいずれか一方の輝度変化位置しか存在しないことを考慮する必要がある。そこで、存在しない方のエッジを重心から十分離すよう設定して数式３６を適用してＬｅｖ’［ｉ］を求める（本例のようにβ端のみがある場合，α端はＧ’−５以下として求める）。
【００６５】
本例では、説明を分かり易くするため、片エッジ、混合エッジの形状は上端の輝度の方が下端の輝度より高い場合のみを説明しているが、逆の場合は図１５に示すように予め使用する変数の関係を反転させて計算するかパターンに合わせた式を新たに導出し適用する必要がある。
【００６６】
また、本例では、エッジ形状を推定する際の変数、上端最小輝度ＹｍｉｎＵ、中央最大輝輝度Ｙｍｉｄ、下端最小輝度ＹｍｉｎＤ、最大輝度Ｙｍａｘ、最小輝度Ｙｍｉｎは各々数式１７〜数式２１で示すように過去数フィールド間における輝度レベルの極値として定義している。なお、ノイズの混入や、マッチングの精度等を考慮して、以下に示すような平均値等を使用することにより、補正後の映像品質を上げることも可能である。
【００６７】
（数式３７）  上端最小輝度  ＹｍｉｎＵ＝ＹＬｅｖ［１］
（数式３８）  中央最大輝度  Ｙｍｉｄ＝ＹＬｅｖ［３］
（数式３９）  下端最小輝度  ＹｍｉｎＤ＝ＹＬｅｖ［５］
（数式４０）  最大輝度  Ｙｍａｘ＝Ｍａｘ（ＹＬｅｖ［１］，ＹＬｅｖ［２］，・・・，ＹＬｅｖ［５］）
（数式４１）  最小輝度  Ｙｍｉｎ＝Ｍｉｎ（ＹＬｅｖ［１］，ＹＬｅｖ［２］，・・・，ＹＬｅｖ［５］）
【００６８】
ここまで、完全に水平な水平エッジに対する補正方法について説明してきたが、実際の映像では完全に水平となるエッジは少なく、右上がりなり左上がりなり水平から傾いていることが多い。これまでの補正方法では、ごく微妙に斜めになっているエッジも完全に水平なエッジとして処理してきた。そのように補正することにより、エイリアシング・クローリング妨害が発生する映像よりきれいに見えることになる。しかしながら、それはあくまで見栄えであり、実際に微妙に傾いているものを、そのまま傾いた状態で表現することがよい場合もある。
【００６９】
そこで、以下では、微妙に傾いている水平エッジ（以下、微小斜めエッジと呼ぶ。）に対する補正手法について説明する。
微小斜めエッジの再構成は、前述した水平エッジ再構成手法をベースに斜めエッジの傾きを考慮した形で実現する。すなわち、図１６に示すように、エッジの中点（図中×印で示す）の形状と位置を水平エッジに対する手法で求め、この中点を基点にエッジの傾きを考慮し各ｘ座標を再構成していく方式を採る。
【００７０】
以下、微小斜めエッジ再構成手法を用いたエイリアシング・クローリング補正の詳細について説明する。まず、フィールド毎に行うエッジの傾きの算出手順について図１７を用いて説明する。各フィールドにおけるエッジの傾き算出は、検出した１本のエッジを２等分し、それぞれの中点のＸＹ座標（図中、黒丸で示す）を求める。そして、この２つの中点を通る直線の方程式で傾きａを求める。
【００７１】
具体的には、以下の手順により算出する。
ステップ１）  エッジ検出
エッジ左右端の座標をそれぞれ（ＸＬ，Ｙｃ）、（ＸＲ，Ｙｃ）とする
ステップ２）  エッジの左右分断
（（ＸＬ＋ＸＲ）／２，Ｙｃ）を中心にエッジを２等分する。
【００７２】
ステップ３）  Ｌ側エッジの中点座標の算出
Ｌ側エッジを構成する各コラム（各ｘ座標に１つ存在）のｙ方向重心（コラム重心）座標ＹＬｇ［ｘ］を求める。
【数１３】
2004304505.tif 000016
ここで、ｐ［ｘ，ｙ］は座標（ｘ，ｙ）の画素の輝度レベルを表す。また、ＣＬｍｉｎ［ｘ］はｘ座標コラムを構成する画素中の最小輝度を、ＣＬｓｕｍ［ｘ］はｘ座標コラムの総輝度を表し、各々以下のように定義される。
【数１４】
2004304505.tif 000017
Ｌ側エッジの中点座標（ＸＬｇ，ＹＬｇ）は次式より求まる。
【数１５】
2004304505.tif 000018
【００７３】
ステップ４）  Ｒ側エッジの中点座標（ＸＲｇ，ＹＲｇ）の算出（ステップ３）と同様）
ステップ５）  エッジ傾きａの算出
第ｊフィールドで検出されたエッジの傾きａｊはＬ側エッジの中点とＲ側エッジの中点を通る直線の傾きとして、次式により算出する。
（数式４７）  ａｊ＝（ＹＲｇ−ＹＬｇ）／（ＸＲｇ−ＸＬｇ）
以上のような手続きで求めた検出エッジの傾きは、データベースに登録され、微小斜めエッジの再構成時に使用される。
【００７４】
以下、具体的な微小斜めエッジの再構成手順について説明していく。
ステップ６）  エッジ・データベース連動処理
微小斜めエッジの形状推定は、前述の水平エッジの形状推定と同様であり、エッジデータベースに登録された過去数フィールド間の情報によりΔα、Δβ，ＹｍｉｎＵ，Ｙｍｉｄ，ＹｍｉｎＤ、α，β，ＳＸ’，ＥＸ’を求める。また、エッジ中点の予測重心位置Ｇ’は２次元に拡張され次式で表される。
（数式４８）  Ｇ’＝（Ｇｘ’，Ｇｙ’）＝（（ＳＸ’＋ＥＸ’）／２，  水平エッジのＧ’）
【００７５】
また、エッジの予測傾きａ及びｙ軸（ｙ＝０）との交点ｂは次式により求まる。
【数１６】
2004304505.tif 000019
従って、エッジ中点重心Ｇ’を通る微小斜めエッジのｘｙ空間上の方程式は、次式となる。
（数式５１）  ｙ＝ａ×ｘ＋ｂ  ：    Ｇ’斜めエッジの方程式
【００７６】
また、上端エッジの方程式および下端エッジの方程式は次式となる。
（数式５２）  α＝ａ×ｘ＋ｂ−Δα  ：    αエッジの方程式
（数式５３）  β＝ａ×ｘ＋ｂ＋Δβ  ：    βエッジの方程式
【００７７】
ステップ７）  各コラム値の理想描画値の算出
図１８に示すように、左端から順に１コラムづつ、エッジを構成するｘ（ＳＸ’≦ｘ≦ＥＸ’）座標ごとに（コラム毎に）αエッジは方程式（数式５２）とβエッジは方程式（数式５３）を用い、上端エッジ位置α、下端エッジ位置βを求める。そして、数式２７もしくは数式３６によりコラムを構成する画素値を求める。
【００７８】
ここまで、エッジを形成する背景およびオブジェクトは各々単一輝度として仮定して説明を行ってきたが、実際の映像ではこのような例は少ない。むしろ、背景およびオブジェクトは各々のオブジェクト内で輝度が不均一となっており、必然的にエッジ部にも不均一な輝度が現れることが多い。簡単のため、本明細書では、図１９に示すように単一輝度を持つオブジェクト同士によって生じるエッジを均一性エッジ、それ以外のエッジを不均一性エッジと呼ぶこととする。
【００７９】
これまでの補正方法では、検出されマッチングが確立したエッジは全て均一性エッジとして処理してきた。そのように補正することにより、両エッジや混合エッジではエイリアシング・クローリング妨害が発生する映像よりきれいに見える。これは、両エッジや混合エッジでクローリングが発生すると、エッジ形状および輝度レベルが安定していないため、本当の形状、輝度から少しずれていても安定したエッジを見た方が綺麗に見えるためである。
【００８０】
また、不均一性エッジに対する補正が難しかった要因としては、検出部の性能が、不均一性エッジを検出し難く、検出可能な水平エッジは概ね均一性エッジに近いことが挙げられる。一方、片エッジではエッジ補正部分の均一性が際立ちやや不自然さを感じる場合がある。特に、高輝度部が不均一な輝度を持つ片エッジでこの現象が顕著である。
【００８１】
以下、このような不均一性の片エッジに対する補正手法について説明する。不均一性の片エッジの補正は、空間内からオブジェクトおよび背景の輝度レベルを取得可能であるという片エッジの特性を利用して行う。すなわち、均一性エッジとしてエッジの形状（輝度変化点位置情報）を推定した後、空間内より取得した輝度値を用いて補間画素の輝度値を算出する。エッジの輝度変化点位置情報を従来の均一性エッジとして求めることにより時間的なエッジ形状の安定性を維持しつつ、空間内の輝度情報を用いることでエッジの輝度レベルの正確性と空間内連続性を確保することができる。
【００８２】
以下、詳細な手順について説明する。不均一性の片エッジに対する補正手法は、基本的には前述した微小斜めエッジに対するエイリアシング・クローリング補正技術を用いる。前述した技術との差異は、補間画素値を算出する最終段階（数式３６を適用する段階）で、上端最小輝度ＹｍｉｎＵ、中央最大輝度Ｙｍｉｄ、下端最小輝度ＹｍｉｎＤの設定値を１フィールド前の補正対象画像から取得する点である。不均一性エッジにおける補正処理では、過去フィールドの設定値を用いて補正値を予測することにより、不均一性エッジを適切に補正することが可能となる。
【００８３】
図２１は、エッジ再構成回路７の別の例を示す図である。この例では、エッジ再構成回路７が、入力用ラインメモリ部１１、エッジ検出部１３、エッジ特徴抽出部１５、特徴データ処理部１７、データベース１９、フレームメモリ２１、エッジ描画部２３、混合係数用ラインメモリ部２７、描画用ラインメモリ部２５および混合回路２９を備える。図６に関して説明した構成と同一の符号を付した構成は、対応する構成と同一または同様の動作および機能を実現する。図２１において、入力用ラインメモリ部１１は、画像データをフレームメモリ２１にＦＩＦＯ（先入れ先出し）出力する。フレームメモリ２１は例えばＦＩＦＯ式のメモリであって、特徴データ処理部１７において処理される画像データの１フィールド前の画像データを記録する。
【００８４】
フレームメモリ２１を設けることにより、特徴データ処理部１７が、入力画像に対応する１フレーム前の補正位置のデータを参照することが可能となる。なお、特徴データ処理部１７ないしはエッジ特徴抽出部１５が、１フィールド前の補正位置のデータを算出し、そのデータをフレームメモリ２１に予め格納しておいてもよい。なお、水平エッジの移動速度が速い場合には、２フィールド分以上のフレームメモリ２１を設けて、特徴データ処理部１７が、複数フレーム前の補正位置のデータを参照することとしてもよい。
【００８５】
この例において、図２０に示すような上端側が高輝度の片エッジの場合は、特徴データ処理部１７が、次式で求めた値を数式３６に適用する。
【数１７】
2004304505.tif 000020
また、下端側が高輝度の片エッジの場合は、次式で求めた値を数式３６に適用する。
【数１８】
2004304505.tif 000021
ここで、Ｉｎｔ（ｘ）はｘを整数化する関数を表し、Ｌ［ｘ，ｙ］は次式で表される隣接画素との平均輝度を表す。
（数式６０）  Ｌ［ｘ，ｙ］＝（ｐ［ｘ−１，ｙ］＋ｐ［ｘ，ｙ］＋ｐ［ｘ＋１，ｙ］）／３
【００８６】
なお、数式５４から数式５９において、ｐ［ｘ，ｙ］を用いずにあえてＬ［ｘ，ｙ］を使用するのは、ノイズによって誤った輝度値が設定されるのを防ぐためである。また、上記の処理は、微小斜めエッジの再構成と同様に（図１８参照）コラムごとに行われる。
【００８７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００８８】
【発明の効果】
本発明によれば、エッジを効果的に検出し再構成することのできるエッジ再構成技術を提供することができる。
【図面の簡単な説明】
【図１】水平ラインからなる原画像を示す図である。
【図２】流れフリッカ現象を説明する図である。
【図３】走査変換回路の構成を示すブロック図である。
【図４】複数種類のエッジの画面イメージおよび輝度分布を示す図である。
【図５】エイリアシング・クローリング補正手順を示す図である。
【図６】エッジ再構成回路の構成を示すブロック図である。
【図７】補正手法を示す図である。
【図８】スケーリングに実施の形態における手法を適用する例を示す図である。
【図９】原画から水平エッジを検出する例を示す図である。
【図１０】マッチングの経過を説明するための概念図である。
【図１１】座標予測において求められる回帰直線を示す図である。
【図１２】走査線平均輝度を説明するための説明図である。
【図１３】混合エッジに対するエッジ形状推定手順を示す図である。
【図１４】片エッジの輝度分布の一例を示す図である。
【図１５】計算方法の別の例を示す図である。
【図１６】斜めエッジの再構成の手順を示す図である。
【図１７】エッジの傾きの算出手順を示す図である。
【図１８】コラムを構成する画素値を求める手順を示す図である。
【図１９】均一性エッジと不均一性エッジを示す図である。
【図２０】上端側が高輝度の片エッジを示す図である。
【図２１】エッジ再構成回路の構成の別の例を示すブロック図である。
【符号の説明】
１・・・ベクトル検出回路、２・・・フィールドメモリ、３・・・フィールド間補間部、４・・・フィールド内補間部、５・・・フィールドメモリ、６・・・混合回路、７・・・エッジ再構成回路、１１・・・入力用ラインメモリ部、１３・・・エッジ検出部、１５・・・エッジ特徴抽出部、１７・・・特徴データ処理部、１９・・・データベース、２１・・・フレームメモリ、２３・・・エッジ描画部、２５・・・描画用ラインメモリ部、２７・・・混合係数用ラインメモリ部、２９・・・混合回路、１００・・・走査変換回路。
【図１】
2004304505.tif 000022
【図２】
2004304505.tif 000023
【図３】
2004304505.tif 000024
【図４】
2004304505.tif 000025
【図５】
2004304505.tif 000026
【図６】
2004304505.tif 000027
【図７】
2004304505.tif 000028
【図８】
2004304505.tif 000029
【図９】
2004304505.tif 000030
【図１０】
2004304505.tif 000031
【図１１】
2004304505.tif 000032
【図１２】
2004304505.tif 000033
【図１３】
2004304505.tif 000034
【図１４】
2004304505.tif 000035
【図１５】
2004304505.tif 000036
【図１６】
2004304505.tif 000037
【図１７】
2004304505.tif 000038
【図１８】
2004304505.tif 000039
【図１９】
2004304505.tif 000040
【図２０】
2004304505.tif 000041
【図２１】
2004304505.tif 000042