(57)【特許請求の範囲】
【請求項１】
ディジタル映像データの補間方法において、
四つの隣接した画素の映像データのうち隣接した画素二つずつの映像データの差分絶対値を計算し計算された差分絶対値のうち最大値とその次に大きな値を決定する計算段階と、
前記四つの隣接した画素の映像データのエッジ形により前記計算段階によって計算された結果を利用し映像データの補間を遂行する映像データ補間段階とからなることを特徴とするディジタル映像データの補間方法。
【請求項２】
前記計算段階は、
映像データの四つの画素を左上から時計方向へ回転しながら第１、第２、第３及び第４の画素とする場合に、前記第４と第１画素間の差分絶対値を求める第１値計算段階と、
前記第１と第２の画素値間の差分絶対値を求める第２値計算段階と、
前記第２と第３の画素値間の差分絶対値を求める第３値計算段階と、
前記第３と第４の画素値間の差分絶対値を求める第４値計算段階と、
前記第１値計算段階から前記第４値計算段階により計算された値中、最大値とその次に大きな値を求める最大値決定段階とからなることを特徴とする請求項１記載のディジタル映像データの補間方法。
【請求項３】
前記補間段階は、
第１画素と第４画素の中間位置を第１位置、第１画素と第２画素の中間位置を第２位置、第２画素と第３画素の中間位置を第３位置、第３画素と第４画素の中間位置を第４位置とする際、四つの隣接した画素の前記第１位置と前記第３位置を連結し前記第２位置と前記第４位置を連結し映像データ領域を分割し、それぞれ前記第１位置と前記第２位置を連結し前記第２位置と前記第３位置を連結し前記第３位置と前記第４位置を連結し前記第４位置と前記第１位置を連結し前記領域を八つの領域に分割し外側の左側から反時計方向へ回転しながら第１、第２、第３及び第４領域とし、内側の左上から反時計方向へ回転しながら第５、第６、第７及び第８領域とし、
前記映像データにおいて左下から右上方向へエッジが存在する形態を第１グループ、前記映像データにおいて左上から右下方向へエッジが存在する形態を第２グループ、および前記映像データにおいて水平方向または垂直方向のエッジが存在する形態を第３グループとするとき、
前記第１、第２、第３及び第４領域は隣接した映像データに取り替えられ、
前記第５、第６、第７及び第８領域は前記第１グループの場合は前記第６及び第８領域にそれぞれ第２及び第４画素値を取り替え、もし最大値の次に大きな値が前記第１値又は第３値計算段階から得た値なら第５及び第７領域にそれぞれ第４及び第２画素値を取り替え、もし最大値の次に大きな値が前記第２値又は第４値計算段階から得た値なら前記第５及び第７領域にそれぞれ第２及び第４画素値を取り替え、
前記第２グループの場合は第５、第７領域がそれぞれ第１及び第３画素値に取り替えられ、もし最大値の次に大きな値が第４値又は第２値なら前記第６及び第８領域に各々第１及び第３画素値を取り替え、もし最大値の次に大きな値が第１値又は第３値の計算段階から得られた値なら前記第６及び第８領域にそれぞれ第３及び第１画素値を取り替え、
前記第３グループの場合は前記第５、第６、第７、第８領域にそれぞれ第１、第２、第３及び第４画素値を取り替えることを特徴とする請求項２記載のディジタル映像データの補間方法。
【請求項４】
ディジタル映像データの補間方法において、
四つの隣接した映像データのうち二つの隣接した画素の間の差分絶対値を求める差分絶対値計算段階と、
前記計算された絶対値から最大値とその次に大きな値を求める最大値決定段階と、
前記計算された値を利用し映像データの補間を遂行する補間段階とからなることを特徴とするディジタル映像データの補間方法。
【請求項５】
前記差分絶対値計算段階は、
四つの画素を左上から反時計方向へ回転しながら第１、第２、第３、第４映像データとする場合に前記第４と第１画素値の差分絶対値を求める第１値計算段階と、
前記第１と第２の画素値の差分絶対値を求める第２値計算段階と、
前記第２と第３の画素値の差分絶対値を求める第３値計算段階と、
前記第３と第４の画素値の差分絶対値を求める第４値計算段階とからなることを特徴とする請求項４記載のディジタル映像データの補間方法。
【請求項６】
前記最大値決定段階は、
前記第１値計算段階から前記第４値計算段階により計算された値のうち、最大値とその次に大きな値を決定することを特徴とする請求項４記載のディジタル映像データの補間方法。
【請求項７】
前記補間段階は、
第１画素と第４画素の中間位置を第１位置、第２画素と第１画素の中間位置を第２位置、第３画素と第２画素の中間位置を第３位置、第４画素と第３画素の中間位置を第４位置とする際、四つの隣接した映像データの前記第１位置と前記第３位置を連結し前記第２位置と前記第４位置を連結し映像データの領域を分割し、それぞれ前記第１位置と前記第２位置を連結し前記第２位置と前記第３位置を連結し前記第３位置と前記第４位置を連結し前記第４位置と前記第１位置を連結し八つの領域に分割し外側の左側から反時計方向へ回転しながら第１、第２、第３、第４領域とし、内側の左上から反時計方向へ回転しながら第５、第６、第７、第８領域とし、
前記映像データにおいて左下から右上方向へエッジが存在する形態を第１グループ、前記映像データにおいて左上から右下方向へエッジが存在する形態を第２グループ、および前記映像データにおいて水平方向または垂直方向のエッジが存在する形態を第３グループとするとき、
前記第１、第２、第３、第４領域には隣接した映像データを取り替え、
前記第５、第６、第７、第８領域は前記第１グループの場合は第６、第８領域に各々第２及び第４画素値を取り替え、もし最大値の次に大きな値が前記第１値又は第３値計算段階から得られた値なら第５及び第７領域にそれぞれ第４及び第２画素値を取り替え、もし最大値の次に大きな値が第２値又は第４値計算段階から得られた値なら前記第５及び第７領域に各々第２及び第４画素値を取り替え、
前記第２グループの場合は第５、第７領域にそれぞれ第１及び第３画素値を取り替え、もし最大値の次に大きな値が第４値又は第２値なら前記第６及び第８領域に各々第１及び第３画素値を取り替え、もし最大値の次に大きな値が第１値又は第３値の計算段階から得られた値なら前記第６及び第８領域にそれぞれ第３及び第１画素値を取り替え、
前記第３グループの場合は前記第５、第６、第７、第８領域にそれぞれ第１、第２、第３及び第４画素値を取り替えることを特徴とする請求項４記載のディジタル映像データの補間方法。
【請求項８】
映像データを入力しエッジを検出するエッジ検出手段と、
前記入力された映像データに対しハイパスフィルタリングを遂行するプリフィルタと、
前記エッジ検出手段の出力信号と差分絶対値を入力しエッジの形を判別し映像データの四つの隣接画素に対し各領域に補間される値を決定する零次補間面積調整手段と、
前記零次補間面積調整手段の出力信号を入力しプリフィルタリングされた映像データを当たる領域に補間する零次補間手段と、
前記零次補間された信号を入力しエッジの滑らかさを補強する移動平均手段と、
前記零次補間面積調整手段、前記零次補間手段及び前記移動平均手段に拡大倍率を入力する拡大倍率調整手段と、
前記移動平均手段を通過した映像データの出力信号のローパスフィルタリングを遂行するポストフィルタとを具備することを特徴とするディジタル映像データの補間回路。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明はディジタル映像データ処理方法及び回路に係り、特にディジタル映像データの補間方法及び回路に関する。
【０００２】
【従来の技術】
ここで扱う技術は、原画上に離散的、２次元的に分布する抽出点の元情報（以下では強度と記す）を原情報として、いずれの抽出点にも一致しない中間点の強度を推定する技術である。
従来のディジタル映像補間方法はＮＮＩ（Nearest Neighbor Interpolation）を使用している。ＮＮＩ方法はエッジ情報や周囲画素間の相関度にかかわらず、補間点に最も近い抽出点、即ち最隣接画素の強度値を代入する方法である。このＮＮＩで補間された映像に移動平均（moving average）フィルタを反復的に使用し最終補間された拡大映像を得る。ところが、このようなＮＮＩ方法は低倍率の画質には深刻な影響を与えないが、高倍率の画質を劣化させる。即ち、原画上の１個の抽出点の強度が、拡大画面内の大きい寸法を有する長方形領域全面に一様に適用されることになる。この際生じたブロッキングやモザイク現象は移動平均フィルタを使用して取り除ける。しかしながら、高倍率の場合には移動平均フィルタの反復次数を高めるべきであり、移動平均フィルタの次数を高めれば、新しい問題を生じて、滑らかさが過剰に強調され明暗の深刻な劣化をもたらす。これは従来の方法で対角線方向の滑らかさが水平／垂直方向に比べ落ちるからである。
【０００３】
この新しい問題を説明するため、従来の映像補間方法で対角線方向の補間に及ぼす影響を説明すれば次の通りである。
図１は従来の零次補間により作成される拡大映像に対応する原画領域即ち支持領域を示す。倍率が２の場合の支持領域である。
図１において、ｘ(i,j) は映像の(i,j) 番目画素の強度を示すものであり、ｘ成分を水平方向へ移動平均すれば式(1a)から(1d)が得られる。
【０００４】
ｙh(i,j) ＝１／２｛ｘ(i,j) ＋ｘ(i+1,j) ｝          (1a)
ｙh(i+1,j) ＝１／２｛ｘ(i+1,j) ＋(i+2,j) ｝        (1b)
ｙh(i,j+1) ＝１／２｛ｘ(i,j+1) ＋(i+1,j+1) ｝      (1C)
ｙh(i+1,j+1) ＝１／２｛ｘ(i+1,j+1) ＋ｘ(i+2,j+1) ｝  (1d)
ここで、ｙh(i,j) は水平方向へ移動平均して得たＸ成分の強度を示す。
【０００５】
次に、前記結果を利用しＸ成分を再び垂直方向へ移動平均すれば式(2a)から(2d)が求められる。
0003591859.tif 000002
前記式から、画素ｙ(i,j) とこれに対角線方向へ隣接した画素ｙ(i+1,j+1) の間には共通成分がｘ(i+1,j+1) 一つしかないことが分かる。反面、水平或いは垂直方向の隣接した画素の間には二つの共通成分が存する。相異なる方向、即ち水平／垂直と対角線方向の共通成分の差は２次元映像で方向による対称性が満たせない。このような方向に対する非対称性がモザイク現象の一つの原因となる。
【０００６】
実際、簡単な映像データの例を挙げモザイク現象の原因を分析してみれば次の通りである。
図２は対角線方向の映像のエッジが存する映像データを示す。図２で画素ａの強度が画素ｂより一層大きいと仮定する。
図３は図２に示した点線部分の映像をＮＮＩ方法で２倍零次補間した結果を示す。
【０００７】
図４は図３に示した映像を水平／垂直方向へ移動平均を取った結果の４倍、詰まり、補間点を取り巻く隣接抽出点４点の強度値の合計を示す。図４において、原画全体から認識できるｂ領域（強度値がｂである領域）のエッジ、即ち、図２の左下から右上に伸びる対角線上の１点であるべき、図４の中央点の強度が４ｂではなくてａ＋３ｂとなって異常な感じを与える。即ち、ｙ(i+2,j) 、ｙ(i+1,j+1) 、ｙ(i,j+2) の値を見ればそれぞれ４ｂ、ａ＋３ｂ、４ｂとなりａがｂより一層大きい場合のエッジ（明暗境界線）はａ＋３ｂが４ｂより更に大きくなり対角線エッジの形が崩れる。又、エッジの破損の形により傾きも異なることが分かる。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、零次補間により発生するエッジ部分のブロッキングとモザイク現象を取り除きフィルタの次数を減少することによりディジタル的に形成された映像の階調劣化が防げるディジタル零次補間方法を提供することである。
本発明の他の目的は、前記方法を具現するための零次補間回路を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、補間を行うため、互いに隣接する４個の抽出点によって囲まれた四角領域を８領域に分割し、補間点を含む領域と四角領域内で検出されるエッジの形態に応じて補間方法を選択して補間する。つづいて、滑らかさ補正をする。
このような目的を達成するための本発明のディジタル零次補間方法は、補間点を取り巻く四つの隣接した抽出映像データのうち、二つずつの隣接した抽出映像データの差分絶対値を計算し計算された４個の上下左右差分絶対値の中最大値とその次に大きい値を決定する計算段階と、前記四つの隣接した映像データのエッジ形に応じて補間方法を変更し前記計算段階によって計算された結果を利用し映像データの補間を遂行する映像データ補間段階とからなる。
【００１０】
前記他の目的を達成するために本発明のディジタル零次補間回路は、映像データを入力しエッジを検出するエッジ検出手段と、前記映像データを入力しそのデータに対しハイパスフィルタリングを遂行するプリフィルタと、前記エッジ検出手段の出力信号及び差分絶対値を入力しエッジの形を判別し隣接した四つの映像データに対し補間される値を決定する零次面積補間手段と、前記零次面積補間手段の出力信号を入力しプリフィルタリングされた映像データを当たる領域に補間する零次補間手段と、前記零次補間された信号を入力し滑らかさを補強する移動平均手段と、前記零次補間面積調整手段、前記零次補間手段及び前記移動平均手段に拡大倍率を入力する拡大倍率調整手段と、前記移動平均手段を通過した出力映像データのローパスフィルタリングを遂行するポストフィルタより構成されている。
【００１１】
【作用】
本発明の零次補間方法及び回路によると、エッジの形を単純化及びグループ化し少ない量の計算でエッジ保存形の零次補間ができる。
【００１２】
【実施例】
以下、添付した図面に基づき本発明を詳細に説明する。
先ず、本発明のディジタル映像補間方法を説明するために映像データを移動平均しそのエッジデータを補間する。図５はエッジの補間された映像データを示す。図６は図５に示した映像データの移動平均を遂行した映像データを示す。
【００１３】
図６において、対角線方向のｙ(i+2,j) 、ｙ(i+1,j+1) 、ｙ(i,j+2) の移動平均した値を見ると、全てａ＋３ｂでエッジの形が保存されておりエッジの傾きも保存されることが分かる。本発明はエッジの情報を抽出しエッジの形が保たれるように零次補間を遂行する方法である。
図７は隣接した四つの画素を使用し判別できる九種のエッジ形を示し、その形により三つのグループに区分したことを示す。
【００１４】
図８は適応形零次補間の対象となる支持領域における各種データの関係を示す。
図８において、エッジ情報の抽出は隣接画素データとの差分絶対値を使用する。Ｘ１からＸ４は隣接した四つの画素の映像データの強度値を示す。４個の差分絶対値ｄ１、ｄ２、ｄ３、ｄ４値を求めれば次の通りである。
【００１５】
ｄ１＝｜Ｘ４−Ｘ１｜
ｄ２＝｜Ｘ１−Ｘ２｜
ｄ３＝｜Ｘ２−Ｘ３｜
ｄ４＝｜Ｘ３−Ｘ４｜
即ち、前記式から四つの値を相互比較し最大値ｄｍａｘ  と二番目に大きい値ｄｓｍｘ  を求め、この値を利用しエッジを判断する。即ち、ｄｍａｘ  ＝ｄ１、ｄｓｍｘ  ＝ｄ２の場合、エッジの形は図７のａ或いはｂとなる。しかしながら、ｄｍａｘ  はｄ３、ｄｓｍｘ  ＝ｄ４の場合、エッジの形は図７のｂ或いはｃとなる。従って、ｄｍａｘ  とｄｓｍｘ  がそれぞれｄ１、ｄ２だったり、ｄ３、ｄ４の場合はグループ１のエッジ形の一つとなり、ｄｍａｘ  とｄｓｍｘ  がそれぞれｄ１、ｄ４だったり、ｄ２、ｄ３の場合はグループ２のエッジ形ｄ、ｅ、ｆの中の一つとなり、ｄｍａｘ  とｄｓｍｘ  がそれぞれｄ１、ｄ３だったり、ｄ２、ｄ４の場合はグループ３のエッジ形ｇ、ｈ、ｉの中の一つとなる。このように一旦エッジの形が決められれば映像データの補間を遂行する。
【００１６】
補間は図８に示したＲ１−Ｒ４、Ｓ１−Ｓ４の八つの領域に分けて補間を遂行する。先ず、Ｒ１、Ｒ２、Ｒ３、Ｒ４は最隣接画素の強度値のＸ１、Ｘ２、Ｘ３、Ｘ４にそれぞれ取り替えられる。Ｓ１−Ｓ４の領域はエッジの形により他の値に取り替えられる。
このように、補間点の領域位置とエッジの種類により補間方法を決定するので、任意の補間点を自由に形成できる効果がある。
【００１７】
図９はｄｍａｘ  ＝ｄ２、ｄｓｍｘ  ＝ｄ１の場合の補間した結果を示す。
図９において、グループ１のエッジ形の場合Ｓ２とＳ４の領域には各々Ｘ２とＸ４を取り替える。ｄｍａｘ  ＝ｄ１（又はｄｓｍｘ  ＝ｄ３）ならＳ１がＸ４にＳ３がＸ２にそれぞれ取り替えられ、ｄｍａｘ  ＝ｄ２（又はｄｓｍｘ  ＝ｄ４）ならＳ１がＸ２にＳ３がＸ４にそれぞれ取り替えられる。グループ２のエッジの場合Ｓ１、Ｓ３はそれぞれＸ１とＸ３に取り替えられ、ｄｍａｘ  ＝ｄ４（或いはｄｓｍｘ  ＝ｄ２）ならＳ２がＸ１にＳ４がＸ３に各々取り替えられ、ｄｍａｘ  ＝ｄ１（又はｄｓｍｘ  ＝ｄ３）ならＳ１がＸ３にＳ４がＸ１にそれぞれ取り替えられる。グループ３のエッジの場合のＳ１、Ｓ２、Ｓ３、Ｓ４がそれぞれＸ１、Ｘ２、Ｘ３、Ｘ４に取り替えられる。
【００１８】
図１０は本発明のディジタル零次補間方法を利用した一実施例のディジタル零次補間回路のブロック図である。
図１０において、エッジ検出器１０は映像データを入力し、差分計算を行って、エッジを検出する。プリフィルタ２０は入力された映像データに対しハイパスフィルタリングを遂行する。零次補間面積調整器３０は前記エッジ検出器１０の出力信号及び差分絶対値を入力しエッジの形を判別し隣接した四つの映像画素に対し各領域と補間位置の関係を決定する。零次補間器４０は前記零次補間面積調整器３０の出力信号を入力しプリフィルタリングされた映像データを対応する領域に補間する。移動平均器５０は前記零次補間される信号を入力し映像データの滑らかさを補強する。倍率調整器６０は前記零次補間面積調整器３０、前記零次補間器４０及び前記移動平均器５０に拡大倍率を入力する。ポストフィルタ７０は前記移動平均器５０の出力信号に対しローパスフィルタリングを遂行する。
【００１９】
【発明の効果】
本発明の零次補間方法及び回路によると、エッジの形を単純化及びグループ化し少ない量の計算でエッジ保存形の零次補間ができ、優れた画質の映像補間が可能であるという効果がある。又、アルゴリズムが単純であってハードウェアの具現が容易である。
【図面の簡単な説明】
【図１】零次補間された映像の支持領域を示す図である。
【図２】対角線エッジのある映像データを示す図である。
【図３】ＮＮＩ方法により零次補間された映像データを示す図である。
【図４】ＮＮＩ方法の水平／垂直移動平均を遂行した映像データを示す図である
。
【図５】エッジ保存された零次補間された映像データを示す図である。
【図６】エッジ保存された水平／垂直移動平均を遂行した映像データを示す図である。
【図７】隣接した四つの画素を鑑み各種のエッジを三つのグループに区分したことを示す図である。
【図８】適応形零次補間される映像の支持領域を示す図である。
【図９】本発明の一実施例の補間結果を示す図である。
【図１０】本発明のディジタル映像補間方法を利用したディジタル映像補間回路のブロック図である。
【符号の説明】
１０      エッジ検出器（エッジ検出手段）
２０      プリフィルタ
３０      零次補間面積調整器（零次補間面積調整手段）
４０      零次補間器（零次補間手段）
５０      移動平均器（移動平均手段）
６０      倍率調整器（拡大倍率調整手段）
７０      ポストフィルタ
【図１】
0003591859.tif 000003
【図２】
0003591859.tif 000004
【図３】
0003591859.tif 000005
【図４】
0003591859.tif 000006
【図５】
0003591859.tif 000007
【図６】
0003591859.tif 000008
【図７】
0003591859.tif 000009
【図８】
0003591859.tif 000010
【図９】
0003591859.tif 000011
【図１０】
0003591859.tif 000012