(57)【要約】【課題】誤った角度で斜め補間をすることによる孤立点ノイズの発生を防止する。【解決手段】相関検出部１２１は、補間対象画素Ｐｉに対する各角度において、当該各角度の方向の両側に存在する画素の相関を検出する。補間角度決定部１２２は、各角度の相関検出結果に基づいて、補間対象画素Ｐｉ（画素Pixel(x+n,y)）における相関角度を決定し、メモリ１２３に格納する。相関角度修正部１２４は、メモリ１２３に格納されている補間対象画素Ｐｉ（画素Pixel(x,y)）およびその前後の所定数の補間対象画素の相関角度を読み出し、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の相関角度を他の所定数の補間対象画素の相関角度を参照して修正する。補間値生成部１２５は、相関角度修正部１２４で修正された相関角度の方向に存在する画素の画素値を用いて、補間対象画素Ｐｉ（画素Pixel(x,y)）の画素値を生成する。【選択図】図５
2008263399.tif 000002
【特許請求の範囲】
【請求項１】
入力インターレース信号の所定フィールドの信号に基づき、該所定フィールドの各ラインの間に位置する補間ラインの信号を生成する補間信号生成回路であって、
補間対象画素に対する各角度において、該各角度の方向の両側に存在する画素の相関を検出する相関検出部と、
上記相関検出部の検出結果に基づいて、上記補間対象画素における相関角度を決定する相関角度決定部と、
上記相関角度決定部で決定された上記補間対象画素における相関角度を格納する格納部と、
上記格納部に格納されている所定の補間対象画素の相関角度および該所定の補間対象画素に対して少なくともライン方向の前または後に位置する他の所定数の補間対象画素の相関角度に基づいて、上記所定の補間対象画素の相関角度を修正する相関角度修正部と、
上記相関角度修正部で修正された相関角度の方向に存在する画素の画素値を用いて、上記所定の補間対象画素の画素値を生成する補間値生成部と
を備えることを特徴とする補間信号生成回路。
【請求項２】
上記相関検出部は、
上記各角度の方向の両側に存在する第１の画素と第２の画素との相関を検出する
ことを特徴とする請求項１に記載の補間信号生成回路。
【請求項３】
上記相関検出部は、
上記各角度の方向の両側に存在する第１の画素ブロックと第２の画素ブロックとの相関を検出する
ことを特徴とする請求項１に記載の補間信号生成回路。
【請求項４】
上記相関角度修正部は、
９０度の角度を０の角度とし、０度から９０度の間の角度を正の角度とし、９０度から１８０度の間の角度を負の角度とし、
上記所定の補間対象画素の相関角度および上記他の所定数の補間対象画素の相関角度を、上記０の角度、上記正の角度または上記負の角度のいずれかに分類して得られる角度情報に基づいて、上記補間対象画素の相関角度を修正する
ことを特徴とする請求項１に記載の補間信号生成回路。
【請求項５】
上記相関角度修正部は、
上記所定の補間対象画素の相関角度および該所定の補間対象画素の前後に位置するそれぞれ２個の他の補間対象画素の相関角度を使用し、
上記所定の補間対象画素の相関角度が上記０の角度または上記負の角度であり、上記正の角度に分類された相関角度の個数が３以上である場合、
上記０の角度に分類された相関角度の個数が２である第１の状態では、上記所定の補間対象画素の相関角度をそのまま修正された相関角度とし、
上記所定の補間対象画素に隣接した前後の２個の他の補間対象画素の相関角度がいずれも正の角度に分類された第２の状態では、上記２個の他の補間対象画素の相関角度の平均値を、修正された相関角度とし、
上記第１の状態および上記第２の状態のいずれにも該当しない第３の状態では、上記所定の補間対象画素から１画素だけ離れた前後の２個の他の補間対象画素の相関角度の平均値を、修正された相関角度とする
ことを特徴とする請求項４に記載の補間信号生成回路。
【請求項６】
上記相関角度修正部は、
上記所定の補間対象画素の相関角度および該所定の補間対象画素の前後に位置するそれぞれ２個の他の補間対象画素の相関角度を使用し、
上記所定の補間対象画素の相関角度が上記０の角度または上記正の角度であり、上記負の角度に分類された相関角度の個数が３以上である場合、
上記０の角度に分類されている相関角度の個数が２である第１の状態では、上記所定の補間対象画素の相関角度をそのまま修正された相関角度とし、
上記所定の補間対象画素に隣接した前後の２個の他の補間対象画素の相関角度がいずれも負の角度に分類されている第２の状態では、上記２個の他の補間対象画素の相関角度の平均値を、修正された相関角度とし、
上記第１の状態および上記第２の状態のいずれにも該当しない第３の状態では、上記所定の補間対象画素から１画素だけ離れた前後の２個の他の補間対象画素の相関角度の平均値を、修正された相関角度とする
ことを特徴とする請求項４に記載の補間信号生成回路。
【請求項７】
上記相関角度修正部は、
上記所定の補間対象画素の相関角度および該所定の補間対象画素の前後に位置するそれぞれ２個の他の補間対象画素の相関角度を使用し、
上記所定の補間対象画素の相関角度が上記０の角度または上記負の角度であり、上記正の角度に分類された相関角度の個数が３以上である第１の場合、および上記所定の補間対象画素の相関角度が上記０の角度または上記正の角度であり、上記負の角度に分類された相関角度の個数が３以上である第２の場合に該当しない第３の場合、
上記所定の補間対象画素および該所定の補間対象画素の前後に位置するそれぞれ２個の他の補間対象画素の相関角度のうち、最大値と最小値とを除いた残りの３つの相関角度に基づいて、上記補間対象画素の相関角度を修正する
ことを特徴とする請求項４に記載の補間信号生成回路。
【請求項８】
上記相関角度修正部は、
上記所定の補間対象画素の相関角度および該所定の補間対象画素に隣接した前後の２個の他の補間対象画素の相関角度を使用し、
上記２個の他の補間対象画素の相関角度がいずれも正の角度に分類された第１のパターンでは、上記２個の他の補間対象画素の相関角度の平均値を、修正された相関角度とし、
上記２個の他の補間対象画素の相関角度がいずれも負の角度に分類されている第２のパターンでは、上記２個の他の補間対象画素の相関角度の平均値を、修正された相関角度とし、
上記所定の補間対象画素に隣接した前後の２個の他の補間対象画素の相関角度が上記第１のパターンおよび上記第２のパターンのいずれにも該当しない場合、上記所定の補間対象画素および上記２個の他の補間対象画素の相関角度に基づいて、上記補間対象画素の相関角度を修正する
ことを特徴とする請求項４に記載の補間信号生成回路。
【請求項９】
上記補間値生成部は、
上記相関角度修正部で修正された相関角度の方向に存在する画素の画素値と共に、上記格納部に格納されている上記所定の補間対象画素の相関角度の方向に存在する画素の画素値をさらに用いて、上記所定の補間対象画素の画素値を生成する
ことを特徴とする請求項１に記載の補間信号生成回路。
【請求項１０】
入力インターレース信号の所定フィールドの信号に基づき、該所定フィールドの各ラインの間に位置する補間ラインの信号を生成する補間信号生成方法であって、
補間対象画素に対する各角度において、該各角度の方向の両側に存在する画素の相関を検出する相関検出ステップと、
上記相関検出ステップの検出結果に基づいて、上記補間対象画素における相関角度を決定する相関角度決定ステップと、
上記相関角度決定ステップで決定された上記補間対象画素における相関角度をメモリに格納する格納ステップと、
上記メモリに格納されている所定の補間対象画素の相関角度および該所定の補間対象画素に対して少なくともライン方向の前または後に位置する他の所定数の補間対象画素の相関角度に基づいて、上記所定の補間対象画素の相関角度を修正する相関角度修正ステップと、
上記相関角度修正ステップで修正された相関角度の方向に存在する画素の画素値を用いて、上記所定の補間対象画素の画素値を生成する補間値生成ステップと
を備えることを特徴とする補間信号生成方法。
【請求項１１】
入力インターレース信号の所定フィールドの信号に基づき、該所定フィールドの各ラインの間に位置する補間ラインの信号を生成するために、
コンピュータを、
補間対象画素に対する各角度において、該各角度の方向の両側に存在する画素の相関を検出する相関検出手段と、
上記相関検出手段の検出結果に基づいて、上記補間対象画素における相関角度を決定する相関角度決定手段と、
上記相関角度決定手段で決定された上記補間対象画素における相関角度をメモリに格納する格納手段と、
上記メモリに格納されている所定の補間対象画素の相関角度および該所定の補間対象画素に対して少なくともライン方向の前または後に位置する他の所定数の補間対象画素の相関角度に基づいて、上記所定の補間対象画素の相関角度を修正する相関角度修正手段と、
上記相関角度修正手段で修正された相関角度の方向に存在する画素の画素値を用いて、上記所定の補間対象画素の画素値を生成する補間値生成手段と
して機能させるためのプログラム。
【請求項１２】
入力インターレース信号の所定フィールドの信号に基づき、該所定フィールドの各ラインの間に位置する補間ラインの信号を生成する補間信号生成回路を有し、上記入力インターレース信号をプログレッシブ信号に変換して出力するビデオ信号処理装置であって、
上記補間信号生成回路は、
補間対象画素に対する各角度において、該各角度の方向の両側に存在する画素の相関を検出する相関検出部と、
上記相関検出部の検出結果に基づいて、上記補間対象画素における相関角度を決定する相関角度決定部と、
上記相関角度決定部で決定された上記補間対象画素における相関角度を格納する格納部と、
上記格納部に格納されている所定の補間対象画素の相関角度および該所定の補間対象画素に対して少なくともライン方向の前または後に位置する他の所定数の補間対象画素の相関角度に基づいて、上記所定の補間対象画素の相関角度を修正する相関角度修正部と、
上記相関角度修正部で修正された相関角度の方向に存在する画素の画素値を用いて、上記所定の補間対象画素の画素値を生成する補間値生成部とを備える
ことを特徴とするビデオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、インターレース信号をプログレッシブ信号に変換する際に適用して好適な補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置に関する。詳しくは、この発明は、各角度の相関検出結果に基づいて決定された所定の補間対象画素の相関角度を、他の所定数の補間対象画素の相関角度を参照して修正することにより、誤った角度で斜め補間をすることによる孤立点ノイズの発生を防止するようにした補間信号生成回路等に係るものである。
【背景技術】
【０００２】
テレビ放送信号はインターレース信号であるものの、液晶、プラズマといったフラットパネルディスプレイの多くはプログレッシブ表示を行うようになっている。このようにプログレッシブ表示を行うディスプレイにインターレース信号による画像を表示する際には、インターレース信号をプログレッシブ信号に変換することが必要となる。
【０００３】
動き適応型ＩＰ変換では、インターレース信号をプログレッシブ信号に変換する際に、補間対象画素（補間すべき画素）において、その画素の位置や周辺の画素に表示すべき物体が動いているかどうかが判断され、その判断結果に応じて当該補間対象画素の画素値が生成されるようになっている。
【０００４】
この場合、動いていると判断された場合には、現フィールド内の画素の画素値から補間対象画素の画素値が生成される。一方、動いていない、すなわち静止していると判断された場合には、補間対象画素の画素値として前のフィールド、または後のフィールドの当該補間対象画素と同じ位置の画素の画素値が使用されるか、もしくは前後のフィールドの当該補間対象画素と同じ位置の画素値から補間対象画素の画素値が生成される。
【０００５】
動き適応型ＩＰ変換について、図１３を用いて、さらに詳細に説明する。
【０００６】
ＩＰ変換回路に入力されるインターレース信号（インターレース入力）が静止画であった場合、例えば、図１３（ａ）の静止画入力に示すように、球体が止まっている状態にあって、フィールド(n-1)およびフィールド(n)において同じ位置に球体が存在するとき、インターレース信号では、フィールド(n-1)およびフィールド(n)において、異なるラインで同位置に球体が表示される。
【０００７】
このインターレース信号をＩＰ変換してプログレッシブ信号（プログレッシブ出力）に変換する場合、フィールド(n-1)およびフィールド(n)の各ラインを組み合わせて、図１３（ｂ）のＡに示すように球体を表示する、プログレッシブ信号が生成される。また、この場合、フィールド(n-1)またはフィールド(n)のラインのみから補間ラインを生成することでも、図１３（ｂ）のＢに示すように球体を表示する、プログレッシブ信号が生成される。しかし、この場合、フィールド(n-1)またはフィールド(n)のラインのみから補間ラインが生成されることから、上述したフィールド(n-1)およびフィールド(n)の各ラインを組み合わせた場合よりも画質が劣化する。
【０００８】
ＩＰ変換回路に入力されるインターレース信号（インターレース入力）が動画を含んでいる場合、例えば、図１３（ａ）の動画入力に示すように、球体が動いている状態にあって、フィールド(n-1)およびフィールド(n)において異なる位置に球体が存在するとき、静止画の場合と同じ処理を行ってフィールド(n-1)およびフィールド(n)の各ラインを組み合わせてプログレッシブ信号が生成される場合には、図１３（ｂ）のＣに示すように、鳥の羽のようなエラー（一般に「コーミングエラー」と呼ばれている）が発生してしまう。
【０００９】
そのため、このような動画入力の場合は、現フィールドであるフィールド(n)のラインのみから補間ライン生成することで、図１３（ｂ）のＤに示すように球体を表示する、プログレッシブ信号が生成される。
【００１０】
このように、動き適応型のＩＰ変換では、動画部分と静止画部分を常に判定しながら、動画部分と静止画部分とで補間処理方法を変えて、プログレッシブ信号が生成される。当然ながら、動画部分と静止画部分とは同一画面上に混在するので、動き適応型のＩＰ変換では、画素毎に、静止しているか、または動いているかが判定され、その判定結果に応じた補間処方法が用いられるようになっている。
【００１１】
次に、動画画素部分などに使われる、インターレース信号の所定フィールドのラインのみからプログレッシブ信号を生成する面内ＩＰ変換について説明する。図１４は、面内ＩＰ変換を行った場合の処理例を示している。図１４（ａ）は、ＩＰ変換入力、つまり、ＩＰ変換される前のインターレース信号の各ラインを示している。図１４（ｂ），（ｃ）は、ＩＰ変換出力、つまり、ＩＰ変換された後のプログレッシブ信号の各ラインを示している。なお、この図１４において、各ラインの個々の「□」部分は画素に対応している。
【００１２】
面内ＩＰ変換において、最も簡単な処理として垂直補間がある。この垂直補間では、補間対象画素（補間すべき画素）の画素値を得る際に、当該補間対象画素の真上と真下に存在するインターレース信号のラインの画素の画素値が参照される。例えば、真上の画素の画素値がＳｕ、真下の画素の画素値がＳｄである場合、補間対象画素の画素値は（Ｓｕ＋Ｓｄ）／２とされる。
【００１３】
しかし、この垂直補間では、例えば、図１４（ａ）に示すような斜め線の画像を表示するインターレース信号に対して、図１４（ｂ）に示すようなプログレッシブ信号が生成され、このプログレッシブ信号による画像にギザギザ模様（ジャギー）が発生することが知られている。そのため、面内ＩＰ変換においては、一般的に、近傍の画素情報を利用して斜め方向の相関関係を検出し、ある角度の斜め方向に相関があると判定した場合は、当該斜め方向の画素から補間画素を生成する、斜め補間（異方性補間）が採用されている。この斜め補間では、例えば、図１４（ａ）に示すような斜め線の画像を表示するインターレース信号に対して、図１４（ｃ）に示すようなプログレッシブ信号が生成され、プログレッシブ信号による画像に発生するギザギザ模様（ジャギー）が低減される。
【００１４】
次に、図１５を用いて、斜め補間の手法を説明する。
【００１５】
図１５（ａ）は、斜め補間との比較のために垂直補間を示している。この垂直補間では、ラインｎとラインｎ＋１の間に位置する補間ラインの信号を生成するものとし、その補間ラインの補間対象画素をＰｉとするとき、この補間対象画素Ｐｉの画素値は、図１５（ａ）に矢印で示す方向にある当該補間対象画素Ｐｉの上下の画素Ｐｕ，Ｐｄの画素値を用いて生成される。
【００１６】
斜め補間として、ピクセルベースの斜め補間、およびブロックベースの斜め補間が知られている。ピクセルベースの斜め補間では、補間対象画素Ｐｉに対する各角度において、各角度の方向の両側に存在する第１の画素と第２の画素との相関が検出される。つまり、このピクセルベースの斜め補間では、図１５（ｂ）に示すように、補間対象画素Ｐｉに対して、各角度の方向に存在するラインｎとラインｎ＋１の画素の相関が検出される。
【００１７】
そして、このピクセルベースの斜め補間では、相関のある角度に対して、さまざまな制約条件から最終的に採用すべきひとつの角度が相関角度として決定され、その相関角度の方向に存在するラインｎとラインｎ＋１の画素の画素値から、当該補間対象画素Ｐｉの画素値が生成される。
【００１８】
このピクセルベースの斜め補間では、相関ある角度が多く見つかり、ひとつの角度に絞り込むことが大変困難であり、いろいろな制約条件を必要とするものであり、補間できる角度も限られてしまい、水平に近い角度まで適正に斜め補間の処理を行うことが甚だ困難である。ブロックベースの斜め補間は、ピクセルベースの斜め補間において、ひとつの角度に絞込みにくい、より水平に近い角度（Low Angle）まで網羅できないといった課題を克服できる手法である。
【００１９】
ブロックベースの斜め補間では、補間対象画素Ｐｉに対する各角度において、当該各角度の方向の両側に存在する第１の画素ブロックＢＬｕと第２の画素ブロックＢＬｄとの相関が検出される。つまり、このブロックベースの斜め補間では、図１５（ｃ）に示すように、補間対象画素Ｐｉに対して、各角度の方向の上側および下側に存在する２つの画素ブロックＢＬｕ，ＢＬｄが用いられて、各角度における２つの画素ブロックＢＬｕ，ＢＬｄの相関が検出される。この場合、上下の２個の画素ブロックＢＬｕ，ＢＬｄは補間対象画素を含むように左右対称方向にスライドしていき、最も相関のある角度が探し出される。この手法は、例えば、特許文献１に記載されている。
【００２０】
図１６は、２個の画素ブロックＢＬｕ，ＢＬｄが、補間対象画素Ｐｉを含むように左右対称方向にスライドしていく状況を示している。図１６において、各スライド位置で付されている数字は、画素ブロックＢＬｕ，ＢＬｄをスライドする画素数を示している。
【００２１】
このブロックベースの斜め補間では、２個の画素ブロックＢＬｕ，ＢＬｄのサイズを、図１７に示すように変更することによって、水平に近い角度（Low Angle）でも、相関を検出することが可能となる。すなわち、より垂直に近い大きい角度の相関検出では、図１７（ａ）に示すように、画素ブロックＢＬｕ，ＢＬｄのサイズを小さくする。これに対して、より水平に近い小さい角度の相関検出では、図１７（ｂ）に示すように、画素ブロックＢＬｕ，ＢＬｄのサイズを大きくする。
【特許文献１】特開平２−２９３７９３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
上述の斜め補間（ピクセルベースの斜め補間、ブロックベースの斜め補間）では、補間対象画素に対する各角度において、上下ラインに存在する画素の画素値を画素単位（ピクセルベース）またはブロック単位（ブロックベース）で対角線上に比較して相関のある角度を探し、相関のある角度が検出された場合、その角度の方向にある画素の画素値を使用して補間対象画素の画素値を生成するが、相関のある角度（方向）をまったく発見できなかった場合、垂直方向の上下ラインの画素値を使用した垂直補間により補間対象画素の画素値を生成する。
【００２３】
しかし、このとき、相関のある角度が発見できなかった所定の補間対象画素に対して、当該補間対象画素の両隣にある他の補間対象画素では相関のある角度が見つかり、その角度で画素値を生成した場合、垂直補間により画素値が生成された所定の補間対象画素は孤立点となり、全体画像からみると、ノイズとなってしまう。
【００２４】
このような孤立点ノイズの発生についてさらに説明する。ここでは、斜め線の画像に係る信号を例とって説明する。
【００２５】
図１８（ａ）は、ＩＰ変換入力、つまり、ＩＰ変換される前のインターレース信号の各ラインを示している。図１８（ｂ）は、期待されるＩＰ変換出力、つまり、ＩＰ変換された後のプログレッシブ信号の各ラインを示している。この図１８において、各ラインの個々の「□」部分はそれぞれ画素に対応している。
【００２６】
図１８（ａ）に示すインターレース信号において、「○」で示す補間対象画素Ｐｉでは、相関のある角度が見つけにくい。例えば、上述のピクセルベースを使って相関検出を行う場合、垂直を含め、あらゆる角度に相関があるように見えてしまう。仮に、右斜め方向の角度に相関ありの判断がされずに、垂直または左斜め方向の角度に相関ありの判断がされて当該補間対象画素Ｐｉの画素値が生成されると、孤立点ノイズが発生する。なお、斜め線が背景と似た様な色（画素値）を持つ場合、ブロックベースでの相関検出でも、補間対象画素Ｐｉおける正しい相関角度を検出することが困難になってくる。
【００２７】
ここで、図１９および図２０を使用して、ブロックベースでの相関検出例を説明する。図１９は斜め方向のある角度の相関検出の例を示し、図２０は垂直方向の相関検出の例を示している。画素ブロックＢＬｕ，ＢＬｄのサイズは、垂直方向の相関検出時には小さくなり、斜め方向のある角度の相関検出時には大きくなるものとする。
【００２８】
図１９、図２０に示すブロックベースの相関検出では、画素ブロックＢＬｕ，ＢＬｄの対応する画素毎に絶対差分値を算出し、さらに、この絶対差分値を画素ブロックの画素数で除算して絶対差分平均値（ＮＳＡＤ）を求める。
【００２９】
図１９、図２０に示すように、画素ブロックＢＬｕ，ＢＬｄにおいて、水平方向に数字の番号を、ライン方向にＡ，Ｂ，Ｃのアルファベッドを振る。画素ブロックＢＬｕの最上ラインの左端の画素の画素値をＢＬＫ_A(1,A)として、以下各画素の画素値を、ＢＬＫ_A(2,A)，ＢＬＫ_A(3,A)，ＢＬＫ_A(4,A)，ＢＬＫ_A(5,A) ・・・とする。同様に、ブロックＢＬｄの最上ラインの左端の画素の画素値をＢＬＫ_B(1,A)として、以下各画素の画素値を、ＢＬＫ_B(2,A)，ＢＬＫ_B(3,A)，ＢＬＫ_B(4,A)，ＢＬＫ_B(5,A) ・・・とする。
【００３０】
画素ブロックＢＬｕ，ＢＬｄの対応する画素毎に絶対差分値を算出する。この絶対差分値を、ＡＤ(x,y)で示すと、以下のようになる。
【００３１】
ＡＤ(1,A)＝ | ＢＬＫ_A(1,A) − ＢＬＫ_B(1,A) |
ＡＤ(2,A)＝ | ＢＬＫ_A(2,A) − ＢＬＫ_B(2,A) |
ＡＤ(3,A)＝ | ＢＬＫ_A(3,A) − ＢＬＫ_B(3,A) |
： 
： 
ＡＤ(8,C)＝ | ＢＬＫ_A(8,C) − ＢＬＫ_B(8,C) |
【００３２】
図１９の例では、これらＡＤ(1,A)〜ＡＤ(8,C)で表した画素ごとの絶対差分値の総計をＡＤとすると、絶対差分平均値（ＮＳＡＤ）は、（１）式のようになる。
ＮＳＡＤ＝ＡＤ／（８画素×３ライン）＝ＡＤ／２４      ・・・（１）
【００３３】
いま、各画素の画素値が、図１９の各画素に記載されている数字で示されるものとする。なお、図１９において、数字が記載されていない画素の画素値は０であるとする。図１９の例において、各画素の画素値を用いて、ＮＳＡＤを求めてみる。図１９の例において、画素ブロックＢＬｕ，ＢＬｄの間で絶対差分値が発生する画素は、図１９の比較結果に示す太枠で囲った画素であることから、ＮＳＡＤは、（２）式で示すように、１．２５となる。
【００３４】
ＮＳＡＤ
＝(２レベル×４画素＋４レベル×４画素＋６レベル×１画素)/(８画素×３ライン)
＝３０/２４
＝１．２５          ・・・（２）
となる。
【００３５】
同様に、図２０の例では、ＡＤ(1,A)〜ＡＤ(3,C)で表した画素ごとの絶対差分値の総計をＡＤとすると、絶対差分平均値（ＮＳＡＤ）は、（３）式のようになる。
ＮＳＡＤ＝ＡＤ／（３画素×３ライン）＝ＡＤ／９      ・・・（３）
【００３６】
いま、各画素の画素値が、図２０の各画素に記載されている数字（図１９と同じ値）で示されるものとする。図２０の例において、各画素の画素値を用いて、ＮＳＡＤを求めてみる。図２０の例において、画素ブロックＢＬｕ，ＢＬｄの間で絶対差分値が発生する画素は、図２０の比較結果に示す太枠で囲った画素であることから、ＮＳＡＤは、（４）式で示すように、２．６６となる。
【００３７】
ＮＳＡＤ
＝(２レベル×２画素＋４レベル×２画素＋６レベル×２画素)/(３画素×３ライン)
＝２４/９
＝２．６６          ・・・（４）
となる。
【００３８】
この場合、図１９に示す斜め方向の角度のＮＳＡＤが、図２０に示す垂直方向のＮＳＡＤよりも小さいことから、補間対象画素Ｐｉに対して、図１９に示す斜め方向の角度は図２０に示す垂直方向よりも相関があることになり、図１９に示す斜め方向の角度を補間対象画素Ｐｉにおける相関角度として斜め補間を行うことになる。
【００３９】
以上は、図１８（ａ）に示す補間対象画素Ｐｉよりも２画素だけ左側に位置する他の補間対象画素の画素値を得る場合の相関検出結果であり、この場合は正しく期待通りの相関角度を検出している。
【００４０】
次に、図１８（ａ）に示す補間対象画素Ｐｉの画素値を得る場合における、ブロックベースでの相関検出例を、図２１および図２２を使用して説明する。図２１は、上述の図１９と同様に、斜め方向のある角度の相関検出の例を示し、図２２は、上述の図２０と同様に、垂直方向の相関検出の例を示している。
【００４１】
図２１の例では、上述の図１９の例と同様に、ＡＤ(1,A)〜ＡＤ(8,C)で表した画素ごとの絶対差分値の総計をＡＤとすると、絶対差分平均値（ＮＳＡＤ）は、上述の（１）式のようになる。図２１の例において、実際に各画素の画素値を用いて、ＮＳＡＤを求めてみる。図２１の例において、画素ブロックＢＬｕ，ＢＬｄの間で絶対差分値が発生する画素は、図２１の比較結果に示す太枠で囲った画素であることから、ＮＳＡＤは、（５）式で示すように、１．１６となる。
【００４２】
ＮＳＡＤ
＝(２レベル×６画素＋４レベル×４画素)/(８画素×３ライン)
＝２８/２４
＝１．１６          ・・・（５）
となる。
【００４３】
同様に、図２２の例では、ＡＤ(1,A)〜ＡＤ(3,C)で表した画素ごとの絶対差分値の総計をＡＤとすると、絶対差分平均値（ＮＳＡＤ）は、上述の（３）式のようになる。図２２の例において、実際に各画素の画素値を用いて、ＮＳＡＤを求めてみる。図２２の例において、画素ブロックＢＬｕ，ＢＬｄの間で絶対差分値が発生する画素は、図２２の比較結果に示す太枠で囲った画素であることから、ＮＳＡＤは、（６）式で示すように、０．８８となる。
【００４４】
ＮＳＡＤ
＝(２レベル×４画素)/(３画素×３ライン)
＝８/９
＝０．８８          ・・・（６）
となる。
【００４５】
この場合、図２２に示す垂直方向のＮＳＡＤが、図２１に示す斜め方向の角度のＮＳＡＤよりも小さいことから、補間対象画素Ｐｉに対して、図２２に示す垂直方向は図２１に示す斜め方向の角度よりも相関があることになり、補間対象画素Ｐｉにおける画素値を垂直補間で生成することになる。
【００４６】
以上のようにして、図１９〜図２２で示した補間対象画素Ｐｉを含む補間ラインにおける各画素の画素値を生成すると、各補間対象画素は図２３に太枠で囲って示すようになり、垂直補間を選択した補間対象画素の部分で、孤立点ノイズが発生する。
【００４７】
この発明の目的は、誤った角度で斜め補間をすることによる孤立点ノイズの発生を防止することにある。
【課題を解決するための手段】
【００４８】
この発明の概念は、
入力インターレース信号の所定フィールドの信号に基づき、該所定フィールドの各ラインの間に位置する補間ラインの信号を生成する補間信号生成回路であって、
補間対象画素に対する各角度において、該各角度の方向の両側に存在する画素の相関を検出する相関検出部と、
上記相関検出部の検出結果に基づいて、上記補間対象画素における相関角度を決定する相関角度決定部と、
上記相関角度決定部で決定された上記補間対象画素における相関角度を格納する格納部と、
上記格納部に格納されている所定の補間対象画素の相関角度および該所定の補間対象画素に対して少なくともライン方向の前または後に位置する他の所定数の補間対象画素の相関角度に基づいて、上記所定の補間対象画素の相関角度を修正する相関角度修正部と、
上記相関角度修正部で修正された相関角度の方向に存在する画素の画素値を用いて、上記所定の補間対象画素の画素値を生成する補間値生成部と
を備えることを特徴とする補間信号生成回路にある。
【００４９】
この発明において、補間ラインの信号は、基本的には、斜め補間により生成される。ここで、斜め補間とは、ピクセルベースによる斜め補間、ブロックベースによる斜め補間のいずれであってもよい。この発明において、各補間対象画素の画素値は、以下のようにして生成される。すなわち、相関検出部により、補間対象画素に対する各角度において、各角度の方向の両側に存在する画素の相関が検出される。例えば、ピクセルベースの場合、各角度の方向の両側に存在する第１の画素と第２の画素との相関が検出される。また、例えば、ブロックベースの場合、各角度の方向の両側に存在する第１の画素ブロックと第２の画素ブロックとの相関が検出される。
【００５０】
そして、相関角度決定部により、相関検出部の検出結果に基づいて、補間対象画素における相関角度が決定される。例えば、相関角度決定部では、相関検出部で最も相関があるとされた角度が、補間対象画素における相関角度に決定される。なお、相関角度決定部では、相関検出部の検出結果の他に、その他の種々の制約条件を含めて、補間対象画素における相関角度が決定されるようにしてもよい。
【００５１】
相関角度決定部により決定された補間対象画素における相関角度は格納部に格納される。所定の補間対象画素の画素値を生成する際に使用する相関角度は、格納部に格納されている当該所定の補間対象画素の相関角度が、相関角度修正部により修正されたものとされる。すなわち、相関角度修正部により、格納部に格納されている所定の補間対象画素の相関角度および当該所定の補間対象画素に対して少なくともライン方向の前または後に位置する他の所定数の補間対象画素の相関角度に基づいて、所定の補間対象画素の相関角度が修正される。
【００５２】
相関角度修正部では、例えば、９０度の角度を０の角度とし、０度から９０度の間の角度を正の角度とし、９０度から１８０度の間の角度を負の角度とし、所定の補間対象画素の相関角度および他の所定数の補間対象画素の相関角度を０の角度、正の角度または負の角度のいずれかに分類して得られる角度情報に基づいて、所定の補間対象画素の相関角度が修正されるようにしてもよい。このように、０、正、負の角度に分類された角度情報に基づいて所定の補間対象画素の相関角度が修正されるようにすることで、相関角度修正部における処理パターンを少なくでき、処理動作の簡略化が可能となる。
【００５３】
また、補間値生成部により、相関角度修正部で修正された相関角度の方向に存在する画素の画素値を用いて、所定の補間対象画素の画素値が生成される。この場合、例えば、修正された相関角度の方向の、補間対象画素に対して上下に位置する画素の画素値が平均されて、当該補間対象画素の画素値が求められる。
【００５４】
このようにこの発明においては、各角度の相関検出結果に基づいて決定された所定の補間対象画素の相関角度を、他の所定数の補間対象画素の相関角度を参照して修正するものであり、誤った角度で斜め補間をすることによる孤立点ノイズの発生が防止される。
【００５５】
なお、この発明においては、例えば、補間値生成部は、相関角度修正部で修正された相関角度の方向に存在する画素の画素値と共に、格納部に格納されている所定の補間対象画素の相関角度の方向に存在する画素の画素値をさらに用いて、所定の相関対象画素の画素値を生成するようにされてもよい。これにより、相関角度修正部の修正が不適当であった場合に、その影響を軽減することが可能となる。
【発明の効果】
【００５６】
この発明によれば、各角度の相関検出結果に基づいて決定された所定の補間対象画素の相関角度を他の所定数の補間対象画素の相関角度を参照して修正するものであり、誤った角度で斜め補間をすることによる孤立点ノイズの発生を防止できる。
【発明を実施するための最良の形態】
【００５７】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像表示装置１００の構成例を示している。この画像表示装置１００は、ＩＰ変換回路１０１と、高域補正回路１０２と、ガンマ補正回路１０４と、ＬＣＤ(Liquid Crystal Display)１０３とを有している。
【００５８】
ＩＰ変換回路１０１は、入力インターレース信号であるビデオ信号Ｓ１を、インターレース信号からプログレッシブ信号に変換する。このＩＰ変換回路１０１は、動き適応型のＩＰ変換処理を行う。このＩＰ変換回路１０１の詳細については後述する。高域補正回路１０２は、ＩＰ変換回路１０１で得られるビデオ信号（プログレッシブ信号）Ｓ２の高域成分を強調する。この高域補正回路１０２は、図示しないが、水平方向および垂直方向のハイパスフィルタを有した構成とされる。
【００５９】
ガンマ補正回路１０４は、高域補正回路１０２から出力されるビデオ信号Ｓ３に対して、表示デバイス、この実施の形態ではＬＣＤ１０３の特性に対応したガンマ補正を行う。ＬＣＤ１０３は、固定画素表示素子を構成している。このＬＣＤ１０３は、ガンマ補正回路１０４から出力されるビデオ信号に基づいて画像を表示する。
【００６０】
図１に示す画像表示装置１００の動作を説明する。
ビデオ信号Ｓ１は、ＩＰ変換回路１０１に供給され、インターレース信号からプログレッシブ信号に変換される。このＩＰ変換回路１０１から出力されるビデオ信号Ｓ２は、高域補正回路１０２に供給され、高域成分が強調される。この高域補正回路１０２から出力されるビデオ信号Ｓ３は、ガンマ補正回路１０４でガンマ補正された後に、ＬＣＤ１０３に供給される。このＬＣＤ１０３には、プログレッシブ信号とされ、かつ高域成分が強調されたビデオ信号Ｓ３による画像が表示される。
【００６１】
図２は、ＩＰ変換回路１０１の構成例を示している。このＩＰ変換回路１０１は、補間信号生成回路１１１と、Ｎフィールドメモリ１１２と、動き判定回路１１３と、補間画素選択回路１１４とにより構成されている。
【００６２】
補間信号生成回路１１１には、ビデオ信号（インターレース信号）Ｓ１が入力される。この補間信号生成回路１１１は、動画用の補間信号（補間ラインの信号）Ｓipを、ビデオ信号Ｓ１の現フィールドの信号から生成する。この補間信号生成回路１１１は、基本的には、上述した斜め補間（異方性補間）によって補間信号Ｓipを生成する。
【００６３】
斜め補間では、補間画素の近傍の画素情報を利用して斜め方向に存在する画素の相関が検出され、ある角度の斜め方向の画素に相関があると判定された場合、その斜め方向にある上下の画素から補間対象画素が生成される。以下の説明では、補間信号生成回路１１１はブロックベースによる斜め補間を行うものとして説明する。ただし、この補間信号生成回路１１１は、ピクセルベースによる斜め補間を行うものであってもよい。
【００６４】
この補間信号生成回路１１１の詳細については後述するが、この補間信号生成回路１１１においては、所定の補間対象画素の画素値を生成する際に使用される相関角度は、各角度の相関検出結果に基づいて決定された相関角度そのものではなく、他の所定数の補間対象画素の相関角度を参照して修正されたものとされ、孤立点ノイズの発生が防止されるようになっている。
【００６５】
Ｎフィールドメモリ１１２には、ビデオ信号Ｓ１が入力される。このＮフィールドメモリ１１２は、現フィールドより前のＮ個のフィールドの信号を格納して保持する。動き判定回路１１３には、ビデオ信号Ｓ１が入力されると共に、Ｎフィールドメモリ１１２から過去のフィールドの信号が入力される。動き判定回路１１３は、現フィールドの信号および過去のフィールドの信号を用いて、画素単位で、動画であるか静止画であるかを判定する。
【００６６】
補間画素選択回路１１４は、ビデオ信号Ｓ１（現フィールドの信号）、Ｎフィールドメモリ１１２から出力される１フィールド前の信号、補間信号生成回路１１１で生成された補間ラインの信号Ｓipに基づいて、ビデオ信号（プログレッシブ信号）Ｓ２を生成して出力する。この場合、補間画素選択回路１１４は、ビデオ信号Ｓ２のうち、ビデオ信号Ｓ１（現フィールドの信号）の各ラインに対応したラインの信号として、当該ビデオ信号Ｓ１の各ラインの信号をそのまま出力する。また、補間画素選択回路１１４は、補間ラインの信号として、動き判定回路１１３で動画であると判定されたときは補間信号生成回路１１１で生成された信号Ｓipを出力し、動き判定回路１１３で静止画であると判定されたときは、１フィールド前の信号を出力する。
【００６７】
図２に示すＩＰ変換回路１０１の動作を説明する。
ビデオ信号（インターレース信号）Ｓ１は、補間信号生成回路１１１、Ｎフィールドメモリ１１２および動き判定回路１１３に供給される。補間信号生成回路１１１では、ビデオ信号Ｓ１の現フィールドの信号が使用され、斜め補間（異方性補間）により、補間信号（補間ラインの信号）Ｓipが生成される。この補間信号Ｓipは補間画素選択回路１１４に供給される。
【００６８】
Ｎフィールドメモリ１１２では、ビデオ信号Ｓ１の書き込みが行われる。これにより、Ｎフィールドメモリ１１２は、常に、現フィールドより前のＮ個のフィールドの信号が格納された状態とされる。このＮフィールドメモリ１１２から１フィールド前の信号が読み出され、補間画素選択回路１１４に供給される。また、このＮフィールドメモリ１１２から、動き判定に必要とされる過去のフィールドの信号が読み出されて動き判定回路１１３に供給される。
【００６９】
動き判定回路１１３では、現フィールドの信号および過去のフィールドの信号を用いて、画素単位で、動画であるか静止画であるかが判定される。この動き判定回路１１３で得られる判定結果は、補間画素選択回路１１４に供給される。補間画素選択回路１１４では、ビデオ信号Ｓ１（現フィールドの信号）、Ｎフィールドメモリ１１２から供給される１フィールド前の信号、補間信号生成回路１１１から供給される補間ラインの信号Ｓipに基づいて、ビデオ信号（プログレッシブ信号）Ｓ２が生成される。
【００７０】
この場合、補間画素選択回路１１４では、ビデオ信号Ｓ２のうち、ビデオ信号Ｓ１（現フィールドの信号）の各ラインに対応したラインの信号として、当該ビデオ信号Ｓ１の各ラインの信号がそのまま用いられる。また、補間画素選択回路１１４では、補間ラインの信号として、動き判定回路１１３で動画であると判定された画素（補間対象画素）では、補間信号生成回路１１１で生成された補間信号Ｓipが用いられ、一方、動き判定回路１１３で静止画であると判定された画素（補間対象画素）では、１フィールド前の信号が用いられる。
【００７１】
図３は、動き判定回路１１３における動き判定（動画判定の場合）と、その場合に生成されるビデオ信号（プログレッシブ信号）Ｓ２の一例を示している。動き判定回路１１３は、図３（ａ）に示すように、ビデオ信号（インターレース信号）Ｓ１におけるｍフィールド（現フィールド）とｍ−２フィールドの信号が同一でないこと等から動画と判定する。この場合、図３（ｃ）に示すビデオ信号（プログレッシブ信号）Ｓ２は、ビデオ信号Ｓ１のｍフィールドの信号と、補間信号生成回路１１１でｍフィールドの信号から生成された補間信号Ｓip（図３（ｂ））とから構成されたものとなる。
【００７２】
図４は、動き判定回路１１３における動き判定（静止画判定の場合）と、その場合に生成されるビデオ信号（プログレッシブ信号）Ｓ２の一例を示している。動き判定回路１１３は、図４（ａ）に示すように、ビデオ信号（インターレース信号）Ｓ１におけるｍフィールド（現フィールド）とｍ−２フィールドの信号が同一であること等から静止画と判定する。この場合、図４（ｂ）に示すビデオ信号（プログレッシブ信号）Ｓ２は、ビデオ信号Ｓ１のｍフィールドおよびｍ−１フィールドの信号により構成されたものとなる。
【００７３】
次に、補間信号生成回路１１１の詳細を説明する。図５は、補間信号生成回路１１１の構成例を示している。この補間信号生成回路１１１は、相関検出部１２１と、相関角度決定部１２２と、格納部を構成するメモリ１２３と、相関角度修正部１２４と、補間値生成部１２５とを有している。
【００７４】
相関検出部１２１は、補間対象画素Ｐｉに対する各角度において、当該各角度の方向の両側に存在する画素の相関を検出する。すなわち、この相関検出部１２１は、補間対象画素Ｐｉに対する各角度において、当該各角度の方向の両側に存在する第１の画素ブロックＢＬｕと第２の画素ブロックＢＬｄとの相関を検出する。
【００７５】
上述した図１５（ｃ）は、矢印で示す角度の方向の両側に存在する画素の相関を検出するための第１の画素ブロックＢＬｕおよび第２の画素ブロックＢＬｄの一例を示している。これらの画素ブロックＢＬｕ，ＢＬｄは、上述の図１６に示すように角度に応じて補間対象画素Ｐｉを含むように左右対称方向にスライドしていき、また、上述の図１７に示すように角度に応じてサイズが変更される。相関検出部１２１は、例えば、各角度において、画素ブロックＢＬｕ，ＢＬｄの間の画素毎の絶対差分値の平均、つまり絶対差分平均値ＮＳＡＤを求める。
【００７６】
相関角度決定部１２２は、相関検出部１２１の検出結果に基づいて、補間対象画素Ｐｉにおける相関角度を決定する。上述したように、相関検出部１２１では、補間対象画素Ｐｉに対する各角度において、当該各角度の方向の両側に存在する画素の相関が検出される。相関角度決定部１２２は、例えば、相関検出部１２１で最も相関があるとされた角度、つまり、上述の絶対差分平均値ＮＳＡＤが最も小さな角度を、補間対象画素Ｐｉにおける相関角度に決定する。
【００７７】
メモリ１２３は、相関角度決定部１２２で決定された補間対象画素Ｐｉにおける相関角度を格納する。メモリ１２３は、後述する相関角度修正部１２４で使用する、所定の補間対象画素、およびその前後に位置する他の所定数の補間対象画素の相関角度を格納できるだけの容量があればよい。なお、このメモリ１２３の代わりに、同様の格納機能を持っているその他のデータ記憶素子を用いることもできる。
【００７８】
相関角度修正部１２４は、メモリ１２３に格納されている所定の補間対象画素Ｐｉの相関角度および当該所定の補間対象画素Ｐｉに対して前後に位置する他の所定数の補間対象画素の相関角度に基づいて、当該所定の補間対象画素Ｐｉの相関角度を修正する。この実施の形態において、相関角度修正部１２４は、図６に示すように、所定の補間対象画素ＰｉをPixel(x,y)で表し、その前に位置する２個の補間対象画素をPixel(x-2,y)，Pixel(x-1,y)で表し、その後に位置する２個の補間対象画素をPixel(x+1,y)，Pixel(x+2,y)で表す場合、画素Pixel(x,y)の相関角度を、５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度を用いて修正する。
【００７９】
この場合、相関角度修正部１２４で、補間対象画素Pixel(x,y)の相関角度の修正処理が行われているとき、上述の相関検出部１２１および相関角度決定部１２２では補間対象画素Pixel(x+n,y)について処理されていることになる。ここで、ｎの値は、相関角度修正部１２４で使用する画素の個数による。例えば、上述したように、相関角度検出部１２４で画素Pixel(x,y)の後に位置する２個の画素Pixel(x+1,y)，Pixel(x+2,y)までを使用する
ものにあっては、ｎは２より大きい値をとればよい。
【００８０】
相関角度修正部１２４は、まず、メモリ１２３から、５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度を読み出す。そして、相関角度修正部１２４は、図７（ｂ）に矢印で示す９０度の角度を０の角度とし、図７（ａ）に矢印で示すような０度から９０度の間の角度を正（＋）の角度とし、図７（ｃ）に矢印で示すような９０度から１８０度の間の角度を負（−）の角度とし、メモリ１２３から読み出した各画素の相関角度を、０の角度、正の角度または負の角度に分類して角度情報を得る。
【００８１】
例えば、相関角度修正部１２４は、図８に示す「＋１」、「＋２」等のスライド位置の相関角度を正の角度に分類し、図８に示す「０」のスライド位置の相関角度を０の角度に分類し、図８に示す「−１」、「−２」等のスライド位置の相関角度を負の角度に分類する。
【００８２】
また、相関角度修正部１２４は、上述の５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度の分類結果である角度情報に基づいて、所定の補間対象画素Pixel(x,y)の相関角度を修正する。ここで、相関角度修正部１２４は、第１〜第３のパターンに分け、各パターンに対応した修正処理を行う。
【００８３】
相関角度修正部１２４は、上述の５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度の分類結果である角度情報に基づいて、正の角度の個数Plus_Count、負の角度の個数Minus_count、および０の角度の個数Zero_Countを求め、いずれのパターンに属するか等の判別に使用する。
【００８４】
相関角度修正部１２４における第１〜第３のパターンおよびその修正処理について説明する。
【００８５】
Ａ．「第１のパターン」
相関角度修正部１２４は、Plus_Count≧３、かつ、Pixel(x,y)≦０であるとき、第１のパターンであると認識する。すなわち、相関角度修正部１２４は、補間対象画素Pixel(x,y)の相関角度が０の角度または負の角度であり、正の角度に分類された相関角度の個数が３以上である場合には、第１のパターンの修正処理を行う。なお、この第１のパターンの修正処理は、さらに、以下の第１〜第３の状態の処理に分類される。
【００８６】
（１）「第１の状態」
相関角度修正部１２４は、Zero_Count＝２の場合、つまり、０の角度に分類された相関角度の個数が２である第１の状態では、以下のように処理をする。すなわち、相関角度修正部１２４は、補間対象画素Pixel(x,y)の相関角度を、そのまま当該補間対象画素Pixel(x,y)の修正された相関角度とする。
【００８７】
（２）「第２の状態」
相関角度修正部１２４は、Pixel(x-1,y)＞０、かつ、Pixel(x+1,y)＞０の場合、つまり、補間対象画素Pixel(x,y)に隣接した前後の２個の他の補間対象画素Pixel(x-1,y)，Pixel(x+1,y)の相関角度がいずれも正の角度に分類された第２の状態では、以下のように処理をする。
【００８８】
この第２の状態では、図９（ａ）に示すように、画素Pixel(x-1,y), Pixel(x+1)の相関角度の他に、画素Pixel(x-2,y)または画素Pixel(x+2,y)の相関角度が正の角度であることを意味している。この場合、相関角度修正部１２４は、画素Pixel(x-1,y)および画素Pixel(x+1,y)の相関角度の平均値を、当該補間対象画素Pixel(x,y)の修正された相関角度とする。この場合、補間対象画素Pixel(x,y)の相関角度は、０の角度または負の角度から、正の角度に変更されることになる。
【００８９】
ここで、画素Pixel(x,y)の相関角度をPixel(x,y)で表すとすると、修正された補間対象画素Pixel(x,y)の相関角度は、以下の（７）式で表される。なお、この（７）式において、Pixel(x,y)の値は、四捨五入により整数値で求められる。
Pixel(x,y)＝(Pixel(x+1,y)＋Pixel(x-1,y))/２      ・・・（７）
【００９０】
（３）「第３の状態」
上述の第１の状態および上述の第２の状態のいずれにも該当しない状態が、第３の状態である。
【００９１】
この第３の状態では、図９（ｂ）に示すように、画素Pixel(x-2,y), Pixel(x+2)の相関角度がいずれも正の角度であり、同時に、画素Pixel(x-1,y)または画素Pixel(x+1,y)の相関角度が正の角度であることを意味している。この場合、相関角度修正部１２４は、画素Pixel(x-2,y)および画素Pixel(x+2,y)の相関角度の平均値を、当該補間対象画素Pixel(x,y)の修正された相関角度とする。この場合、補間対象画素Pixel(x,y)の相関角度は、０の角度または負の角度から、正の角度に変更されることになる。
【００９２】
ここで、画素Pixel(x,y)の相関角度をPixel(x,y)で表すとすると、修正された補間対象画素Pixel(x,y)の相関角度は、以下の（８）式で表される。なお、この（８）式において、Pixel(x,y)の値は、四捨五入により整数値で求められる。
Pixel(x,y)＝(Pixel(x+2,y)＋Pixel(x-2,y))/２      ・・・（８）
【００９３】
Ｂ．「第２のパターン」
相関角度修正部１２４は、Minus_Count≧３、かつPixel(x,y)≧０であるとき、第２のパターンであると認識する。すなわち、相関角度修正部１２４は、補間対象画素Pixel(x,y)の相関角度が正の角度または０の角度であり、負の角度に分類された相関角度の個数が３以上である場合には、第２のパターンの修正処理を行う。なお、この第２のパターンの修正処理は、さらに、以下の第１〜第３の状態の処理に分類される。
【００９４】
（１）「第１の状態」
相関角度修正部１２４は、Zero_Count＝２の場合、つまり、０の角度に分類された相関角度の個数が２である第１の状態では、以下のように処理をする。すなわち、相関角度修正部１２４は、補間対象画素Pixel(x,y)の相関角度を、そのまま当該補間対象画素Pixel(x,y)の修正された相関角度とする。
【００９５】
（２）「第２の状態」
相関角度修正部１２４は、Pixel(x1,y)＜０、かつ、Pixel(x+1,y)＜０の場合、つまり、補間対象画素Pixel(x,y)に隣接した前後の２個の他の補間対象画素Pixel(x-1,y)，Pixel(x+1,y)の相関角度がいずれも負の角度に分類された第２の状態では、以下のように処理をする。
【００９６】
この第２の状態では、図９（ｃ）に示すように、画素Pixel(x-1,y), Pixel(x+1)の相関角度の他に、画素Pixel(x-2,y)または画素Pixel(x+2,y)の相関角度が負の角度であることを意味している。この場合、相関角度修正部１２４は、画素Pixel(x-1,y)および画素Pixel(x+1,y)の相関角度の平均値を、当該補間対象画素Pixel(x,y)の修正された相関角度とする。この場合、補間対象画素Pixel(x,y)の相関角度は、正の角度または０の角度から、負の角度に変更されることになる。
【００９７】
ここで、画素Pixel(x,y)の相関角度をPixel(x,y)で表すとすると、修正された補間対象画素Pixel(x,y)の相関角度は、以下の（９）式で表される。なお、この（９）式において、Pixel(x,y)の値は、四捨五入により整数値で求められる。
Pixel(x,y)＝(Pixel(x+1,y)＋Pixel(x-1,y))/２      ・・・（９）
【００９８】
（３）「第３の状態」
上述の第１の状態および上述の第２の状態のいずれにも該当しない状態が、第３の状態である。
【００９９】
この第３の状態では、図９（ｄ）に示すように、画素Pixel(x-2,y), Pixel(x+2)の相関角度がいずれも負の角度であり、同時に、画素Pixel(x-1,y)または画素Pixel(x+1,y)の相関角度が負の角度であることを意味している。この場合、相関角度修正部１２４は、画素Pixel(x-2,y)および画素Pixel(x+2,y)の相関角度の平均値を、当該補間対象画素Pixel(x,y)の修正された相関角度とする。この場合、補間対象画素Pixel(x,y)の相関角度は、正の角度または０の角度から、負の角度に変更されることになる。
【０１００】
ここで、画素Pixel(x,y)の相関角度をPixel(x,y)で表すとすると、修正された補間対象画素Pixel(x,y)の相関角度は、以下の（１０）式で表される。なお、この（１０）式において、Pixel(x,y)の値は、四捨五入により整数値で求められる。
Pixel(x,y)＝(Pixel(x+2,y)＋Pixel(x-2,y))/２      ・・・（１０）
【０１０１】
Ｃ．「第３のパターン」
相関角度修正部１２４は、上述の第１のパターンおよび上述の第２のパターンのいずれにも該当しないとき、第３のパターンであると認識する。そして、相関角度修正部１２４は、５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度のうち、最大値と最小値とを除いた残りの３つの相関角度に基づいて、補間対象画素Pixel(x,y)の相関角度を修正する。
【０１０２】
すなわち、相関角度修正部１２４は、まず、５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度を小さい順に並べ替える。例えば、５個の画素Pixel(x-2,y)〜Pixel(x+2,y)の相関角度が、図９（ｅ）に示すように、Pixel(x-2,y)＝６、Pixel(x-1,y)＝１０、Pixel(x,y)＝−１０、Pixel(x+1,y)＝−１、Pixel(x+2,y)＝−５である場合を考える。この場合、小さい順に並べ替えると｛６，１０，−１０，−１，−５｝は、｛−１０，−５，−１，６，１０｝となる。
【０１０３】
相関角度修正部１２４は、次に、最大値と最小値を除く３つの相関角度に基づいて、補間対象画素Pixel(x,y)を得る。相関角度修正部１２４は、まず、３つの相関角度を使用して、平均値と差分値を、下記の通り算出する。例えば、３つの相関角度を、小さい値からSort[1],Sort[2],Sort[3]とする。この場合、図９(ｅ)に示す例では、Sort[1]＝−５、Sort[2]＝−１、Sort[3]＝６となる。
【０１０４】
相関角度修正部１２４は、以下の（１１）式および（１２）式により、平均値(Mean)および差分値(Diff)を算出する。
Mean＝(Sort[1]＋Sort[2]＋Sort[3]）/3                    ・・・（１１）
Diff＝(｜Sort[1]−Sort[2]｜＋｜Sort[2]−Sort[3]|）/2    ・・・（１２）
【０１０５】
相関角度修正部１２４は、次に、以下の（１３）式の条件を満たすか否かを判定する。
（｜Pixel(x,y)|−|Mean|）＞Diff            ・・・（１３）
【０１０６】
相関角度修正部１２４は、（１３）式を満たすとき、補間対象画素Pixel(x,y)の相関角度が正しいものとはかなり違っているものと推定し、Meanを、当該補間対象画素Pixel(x,y)の修正された相関角度とする。逆に、（１３）式を満たさないとき、補間対象画素Pixel(x,y)の相関角度が正しいものとそれほど違わないものと推定し、補間対象画素Pixel(x,y)の相関角度を、そのまま当該補間対象画素Pixel(x,y)の修正された相関角度とする。
【０１０７】
図５に戻って、補間値生成部１２５は、ビデオ信号Ｓ１の現フィールドの信号に基づいて、補間信号（補間ラインの信号）Ｓipを生成して出力する。すなわち、補間値生成部１２５は、相関角度修正部１２４で修正されれた相関角度の方向に存在する画素の画素値を用いて、所定の補間対象画素Ｐｉ（Pixel(x,y)）の画素値を生成する。例えば、補間値生成部１２５は、従来周知の斜め補間の手法と同様に、修正された相関角度の方向に存在する補間対象画素Ｐｉの上下の画素Ｐｕ，Ｐｄの画素値を用いて、当該補間対象画素Ｐｉの画素値を生成する。
【０１０８】
図５に示す補間信号生成回路１１１の動作を説明する。
ビデオ信号（インターレース信号）Ｓ１は、相関検出部１２１および補間値生成部１２５に供給される。相関検出部１２１では、補間対象画素Ｐｉに対する各角度において、当該各角度の方向の両側に存在する画素の相関が検出される。この場合、各角度の方向の両側に存在する第１の画素ブロックＢＬｕと第２の画素ブロックＢＬｄとの相関が検出される。この場合、相関検出部１２１では、例えば、各角度において、画素ブロックＢＬｕ，ＢＬｄの間の画素毎の差分値の平均、つまり絶対差分平均値ＮＳＡＤが求められる。
【０１０９】
相関検出部１２１で得られる各角度における検出結果は相関角度決定部１２２に供給される。相関角度決定部１２２では、相関検出部１２１の検出結果に基づいて、補間対象画素Ｐｉにおける相関角度が決定される。この場合、相関角度決定部１２２では、例えば、相関検出部１２１で最も相関があるとされた角度（絶対差分平均値ＮＳＡＤの最も小さい角度）が、補間対象画素Ｐｉにおける相関角度に決定される。このように相関角度決定部１２２で決定された補間対象画素Ｐｉにおける相関角度は、メモリ１２３に格納される。
【０１１０】
相関角度修正部１２４では、メモリ１２３に格納されている所定の補間対象画素Ｐｉの相関角度および当該所定の補間対象画素Ｐｉに対して前後に位置する他の所定数の補間対象画素の相関角度に基づいて、当該所定の補間対象画素Ｐｉの相関角度が修正される。例えば、相関角度修正部１２４では、所定の補間対象画素Ｐｉの相関角度が、当該所定の補間対象画素Ｐｉ、およびその前後にそれぞれ位置する２個の他の補間対象画素の相関角度が使用されて修正される。このように相関角度修正部１２４で修正された所定の補間対象画素Ｐｉの相関角度は、補間値生成部１２５に供給される。
【０１１１】
補間値生成部１２５では、相関角度修正部１２４で修正された相関角度の方向に存在する画素の画素値を用いて、所定の補間対象画素Ｐｉの画素値が生成される。この場合、補間値生成部１２５では、例えば、修正された相関角度の方向に存在する補間対象画素Ｐｉの上下の画素Ｐｕ，Ｐｄの画素値を用いて、当該補間対象画素Ｐｉの画素値が生成される。この補間値生成部１２５では、各補間対象画素Ｐｉの画素値が順次生成され、したがって、この補間値生成部１２５からは、ビデオ信号Ｓ１の現フィールドの信号から生成された補間信号（補間ラインの信号）Ｓipが得られる。
【０１１２】
上述したように、図１に示す画像表示装置１００において、ＩＰ変換回路１０１を構成する補間信号生成回路１１１（図５参照）では、各角度の相関検出結果に基づいて決定された所定の補間対象画素Ｐｉの相関角度が、他の所定数の補間対象画素の相関角度を参照して修正される。したがって、補間信号生成回路１１１では、所定の補間対象画素の相関角度が誤った角度に決定された場合であっても、その修正が行われるため、誤った角度で斜め補間をすることによる孤立点ノイズの発生を良好に防止できる。
【０１１３】
また、補間信号生成回路１１１の相関角度修正部１２４では、所定の補間対象画素Ｐｉの相関角度および他の所定数の補間対象画素の相関角度が０の角度、正の角度または負の角度のいずれかに分類して得られる角度情報に基づいて、所定の補間対象画素Ｐｉの相関角度が修正されるものであり、処理パターンを少なくでき、処理動作の簡略化を図ることができる。
【０１１４】
また、上述したように補間角度修正部１２４では、５個の画素Pixel(x-2,y)〜Pixel(x+2,y)を用いて補間対象画素Pixel(x,y)の相関角度の修正を行っている。しかし、修正に使用する画素を、例えば、Pixel(x-1,y)〜Pixel(x+1,y)の３個の画素、あるいはPixel(x-3,y)〜Pixel(x+3,y)の７個の画素とする等、５個以外の個数としてもよい。
【０１１５】
相関角度修正部１２４は、例えば、３個の画素Pixel(x-1,y)〜Pixel(x+1,y)を使用する場合には、以下の第１〜第３のパターンに応じた修正処理を行う。
【０１１６】
Ａ．「第１のパターン」
相関角度修正部１２４は、Plus_Count＝２、かつ、Pixel(x,y)≦０であるとき、第１のパターンと認識する。すなわち、相関角度修正部１２４は、補間対象画素Pixel(x,y)の相関角度が０の角度または負の角度であり、正の角度に分類された相関角度の個数が２である場合には、第１のパターンの修正処理を行う。
【０１１７】
この第１のパターンでは、上述した５個の画素Pixel(x-2,y)〜Pixel(x+2,y)を使用する場合における、第１のパターンの第２の状態と同様の修正処理が適用される。すなわち、相関角度修正部１２４は、上述した（７）式に基づいて、画素Pixel(x-1,y)および画素Pixel(x+1,y)の相関角度の平均値を、当該補間対象画素Pixel(x,y)の修正された相関角度とする。この場合、補間対象画素Pixel(x,y)の相関角度は、０の角度または負の角度から、正の角度に変更されることになる。
【０１１８】
Ｂ．「第２のパターン」
相関角度修正部１２４は、Minus_Count＝２、かつ、Pixel(x,y)≧０であるとき、第２のパターンと認識する。すなわち、相関角度修正部１２４は、補間対象画素Pixel(x,y)の相関角度が０の角度または正の角度であり、負の角度に分類された相関角度の個数が２である場合には、第２のパターンの修正処理を行う。
【０１１９】
この第２のパターンでは、上述した５個の画素Pixel(x-2,y)〜Pixel(x+2,y)を使用する場合における、第２のパターンの第２の状態と同様の修正処理が適用される。すなわち、相関角度修正部１２４は、上述した（９）式に基づいて、画素Pixel(x-1,y)および画素Pixel(x+1,y)の相関角度の平均値を、当該補間対象画素Pixel(x,y)の修正された相関角度とする。この場合、補間対象画素Pixel(x,y)の相関角度は、０の角度または正の角度から、負の角度に変更されることになる。
【０１２０】
Ｃ．「第３のパターン」
相関角度修正部１２４は、上述の第１のパターンおよび上述の第２のパターンのいずれにも該当しないとき、第３のパターンであると認識する。そして、相関角度修正部１２４は、３個の画素Pixel(x-1,y)〜Pixel(x+1,y)の相関角度に基づいて、補間対象画素Pixel(x,y)の相関角度を修正する。
【０１２１】
すなわち、相関角度修正部１２４は、まず、３個の画素Pixel(x-1,y)〜Pixel(x+1,y)の相関角度を小さい順に並べ替える。その後、相関角度修正部１２４は、上述の５個の画素Pixel(x-2,y)〜Pixel(x+2,y)を使用する場合の第３のパターンと同様に、上述した（１１）式、（１２）式に基づいて平均値と差分値の演算を行うと共に、上述した（１３）式を満たすか否かの判定を行い、この判定結果に基づいて補間対象画素Pixel(x,y)の相関角度を修正する。
【０１２２】
なお、上述した画像表示装置１００において、ＬＣＤ１０３に供給されるビデオ信号の処理をハードウェアで行うものを示したが、同様の処理をソフトウェアで行うこともできる。図１０は、ソフトウェアで処理を行うコンピュータ装置１００Ａの構成例を示している。このコンピュータ装置１００Ａは、ＣＰＵ(Central Processing Unit)１８１、ＲＯＭ(Read OnlyMemory)１８２、ＲＡＭ(Random Access Memory)１８３、データ入出力部（データＩ／Ｏ）１８４および画像メモリ１８５により構成されている。
【０１２３】
ＲＯＭ１８２には、ＣＰＵ１８１の処理プログラム等が格納されている。ＲＡＭ１８３は、ＣＰＵ１８１のワークエリアとして機能する。ＣＰＵ１８１は、ＲＯＭ１８２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ１８３に転送して展開し、当該展開された処理プログラムを読み出して、ビデオ信号の処理を実行する。
【０１２４】
このコンピュータ装置１００Ａにおいては、ビデオ信号Ｓ１は、データＩ／Ｏ１８４を介して入力され、画像メモリ１８５に蓄積される。この画像メモリ１８５に蓄積されたビデオ信号Ｓ１の出力信号に対して、ＣＰＵ１８１により、図１の画像表示装置１００におけるＩＰ変換回路１０１および高域補正回路１０２の処理に対応した処理が行われる。そして、処理後の信号（ビデオ信号Ｓ３）は、画像メモリ１８５からデータＩ／Ｏ１８４を介して外部に出力される。
【０１２５】
図１１のフローチャートは、ＣＰＵ１８１による補間信号生成処理の処理手順を示している。なお、このフローチャートは１個の補間対象画素Ｐｉに対する処理であり、当該処理が各補間対象画素に対して順次行われることになる。
【０１２６】
ＣＰＵ１８１は、まず、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２に移る。このステップＳＴ２において、ＣＰＵ１８１は、補間対象画素Ｐｉ（画素Pixel(x+n,y)）に対する各角度において、当該各角度の方向の両側に存在する画素の相関を検出する。例えば、ＣＰＵ１８１は、各角度の方向の両側に存在する第１の画素ブロックと第２の画素ブロックとの相関を検出する。
【０１２７】
次に、ＣＰＵ１８１は、ステップＳＴ３において、ステップＳＴ２における各角度の相関検出結果に基づいて、補間対象画素Ｐｉ（画素Pixel(x+n,y)）における相関角度を決定する。例えば、ＣＰＵ１８１は、ステップＳＴ２で最も相関があるとされた角度を、補間対象画素Ｐｉ（画素Pixel(x+n,y)）における相関角度に決定する。そして、ＣＰＵ１８１は、ステップＳＴ４において、ステップＳＴ３で決定された補間対象画素Ｐｉ（画素Pixel(x+n,y)）における相関角度を、例えばＲＡＭ１８３に格納する。
【０１２８】
次に、ＣＰＵ１８１は、ステップＳＴ５において、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）における相関角度を修正する。この場合、ＣＰＵ１８１は、ＲＡＭ１８３に格納されている当該所定の補間対象画素Ｐｉ（画素Pixel(x,y)）およびその前後の所定数の補間対象画素の相関角度を読み出し、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の相関角度を他の所定数の補間対象画素の相関角度を参照して修正する。
【０１２９】
次に、ＣＰＵ１８１は、ステップＳＴ６において、ステップＳＴ５で修正された相関角度の方向に存在する画素の画素値を用いて、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の画素値を生成し、その後、ステップＳＴ７において、処理を終了する。この場合、ＣＰＵ１８１は、例えば、相関角度の方向に存在する補間対象画素Ｐｉ（画素Pixel(x,y)）の上下の画素Ｐｕ，Ｐｄの画素値を用いて、当該補間対象画素Ｐｉの画素値を生成する。
【０１３０】
このように、コンピュータ装置１００Ａで処理をするものにあっても、上述の図１に示す画像表示装置１００と同様の効果を得ることができる。
【０１３１】
なお、上述の図５に示す補間信号生成回路１１１においては、補間値生成部１２５では、相関角度修正部１２４で修正された相関角度に基づいて、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の画素値が生成されるものを示した。
【０１３２】
しかし、図１２に示すように、補間正生成部１２５では、相関角度修正部１２４で修正された相関角度と共に、メモリ１２３から読み出された修正前の相関角度とに基づいて、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の画素値が生成されるようにしてもよい。この場合、補間値生成部１２５では、例えば、修正後の相関角度を用いて生成された画素値と修正前の相関角度を用いて生成された画素値とが所定の比率で混合されて、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の画素値が得られる。
【０１３３】
図１２に示すように、補間値生成部１２５において、修正された相関角度の他に、修正前の相関角度を用いるものにあっては、相関角度修正部１２４の修正が不適当であった場合に、その影響を軽減することが可能となる。
【０１３４】
また、上述実施の形態においては、所定の補間対象画素Ｐｉ（画素Pixel(x,y)）の相関角度を修正する際に、その前後に位置する２個ずつの他の補間対象画素の相関角度を使用するものを示したが、他の補間対処画素は所定の補間対象画素Ｐｉの前または後に位置するものだけでもよく、また、その個数も２個に限定されない。
【産業上の利用可能性】
【０１３５】
この発明は、誤った角度で斜め補間をすることによる孤立点ノイズの発生を防止できるものであり、ＩＰ変換回路を持つ液晶表示装置等に適用できる。
【図面の簡単な説明】
【０１３６】
【図１】実施の形態としての画像表示装置の構成例を示すブロック図である。
【図２】画像表示装置を構成するＩＰ変換回路の構成例を示すブロック図である。
【図３】動き判定回路における動き判定（動画判定の場合）と、その場合に生成されるビデオ信号（プログレッシブ信号）の一例を示す図である。
【図４】動き判定回路における動き判定（静止画判定の場合）と、その場合に生成されるビデオ信号（プログレッシブ信号）の一例を示す図である。
【図５】ＩＰ変換回路を構成する補間信号生成回路の構成例を示すブロック図である。
【図６】補間対象画素の相関角度の修正に使用する画素例を示す図である。
【図７】相関角度と角度情報（０の角度、正の角度、負の角度）との関係を示す図である。
【図８】相関角度の一例を示す図である。
【図９】補間対象画素の相関角度の修正時における各パターンを説明するための図である。
【図１０】ビデオ信号処理をソフトウェアで行うコンピュータ装置の構成例を示すブロック図である。
【図１１】ＣＰＵによる補間信号生成処理の処理手順を示すフローチャートである。
【図１２】ＩＰ変換回路を構成する補間信号生成回路の他の構成例を示すブロック図である。
【図１３】動き適応型ＩＰ変換を説明するための図である。
【図１４】インターレース信号の所定フィールドのラインのみからプログレッシブ信号を生成する面内ＩＰ変換（垂直補間、斜め補間）を説明するための図である。
【図１５】面内ＩＰ変換における斜め補間（ピクセルベース、ブロックベース）の手法を説明するための図である。
【図１６】ブロックベースの斜め補間における２ブロックの左右方向へのスライド例を示す図である。
【図１７】ブロックベースの斜め補間における角度に応じたブロックサイズの変更を説明するための図である。
【図１８】斜め線に係るインターレース信号と、期待されるプログレッシブ信号とを示す図である。
【図１９】斜め方向のある角度における、ブロックベースでの相関検出例を示す図である。
【図２０】垂直方向における、ブロックベースでの相関検出例を示す図である。
【図２１】斜め方向のある角度における、ブロックベースでの相関検出例を示す図である。
【図２２】垂直方向における、ブロックベースでの相関検出例を示す図である。
【図２３】補間処理による孤立点ノイズの発生を示す図である。
【符号の説明】
【０１３７】
１００・・・画像表示装置、１００Ａ・・・コンピュータ装置、１０１・・・ＩＰ変換回路、１０２・・・高域補正回路、１０３・・・ＬＣＤ、１０４・・・ガンマ補正回路、１１１・・・補間信号生成回路、１１２・・・Ｎフィールドメモリ、１１３・・・動き判定回路、１１４・・・補間画素選択回路、１２１・・・相関検出部、１２２・・・相関 角度決定部、１２３・・・メモリ、１２４・・・相関角度修正部、１２５・・・補間値生成部
【図１】
2008263399.tif 000003
【図２】
2008263399.tif 000004
【図５】
2008263399.tif 000005
【図６】
2008263399.tif 000006
【図７】
2008263399.tif 000007
【図８】
2008263399.tif 000008
【図９】
2008263399.tif 000009
【図１０】
2008263399.tif 000010
【図１１】
2008263399.tif 000011
【図１２】
2008263399.tif 000012
【図１５】
2008263399.tif 000013
【図３】
2008263399.tif 000014
【図４】
2008263399.tif 000015
【図１３】
2008263399.tif 000016
【図１４】
2008263399.tif 000017
【図１６】
2008263399.tif 000018
【図１７】
2008263399.tif 000019
【図１８】
2008263399.tif 000020
【図１９】
2008263399.tif 000021
【図２０】
2008263399.tif 000022
【図２１】
2008263399.tif 000023
【図２２】
2008263399.tif 000024
【図２３】
2008263399.tif 000025