(57)【要約】【課題】IP変換およびスケーリング処理を行う際の画質の低減を抑制することができるようにする。【解決手段】IP変換スケーリング部１２１は、所定の方法に基づいて、入力されたインターレース方式のＳＤ画像をプログレッシブ方式のＳＤ画像にIP変換し、さらにそのＳＤ画像をＨＤ画像の中間画像に変換する。巡回係数設定部１３３は、動きベクトルＶ、MCブロック差分値ＢＤ、および、入力画像の画素と中間画像の画素との位置関係Ｌに基づいて、画素毎に巡回係数Ｋを設定する。積和演算部１３５は、中間画像と動き補償画像とを巡回係数Ｋで示される割合で合成し、プログレッシブ方式のＨＤ画像である出力画像を生成する。本発明は、例えば、IP変換およびスケーリング処理を行う画像変換装置に適用することができる。【選択図】図４
2011216967.tif 000002
【特許請求の範囲】
【請求項１】
インターレース方式の入力画像を、スケーリングされたプログレッシブ方式の出力画像に変換する画像処理装置において、
前記入力画像をプログレッシブ方式の画像に変換し、さらに画像サイズを変換することにより、スケーリングされたプログレッシブ方式の中間画像に変換するIP変換スケーリング手段と、
前記入力画像の画素の間隔より短い距離を最小単位とする前記入力画像の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された前記動きベクトル、並びに、前記入力画像の画素と、前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素との位置関係に基づいて、画素毎に巡回係数を設定する巡回係数設定手段と、
前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、過去の前記出力画像に対して動き補償を施した画像である動き補償画像を生成する動き補償手段と、
前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素の画素値と、前記動き補償手段により生成された前記動き補償画像の対応する位置にある画素の画素値とを、前記巡回係数設定手段により設定された前記巡回係数を用いて重み付け加算することにより前記出力画像を生成する出力画像生成手段と
を備える画像処理装置。
【請求項２】
前記巡回係数設定手段は、前記中間画像の現在のフレームにおいて、注目画素と、前記注目画像に最も近い入力画像の画素との距離が近いほど、前記巡回係数の値を小さく設定する
請求項１に記載の画像処理装置。
【請求項３】
前記巡回係数設定手段は、前記中間画像の過去のフレームにおいて、前記注目画素から前記動きベクトル分移動した位置と、前記位置に最も近い入力画像の画素との距離が近いほど、前記巡回係数の値を大きく設定する
請求項１に記載の画像処理装置。
【請求項４】
前記動きベクトルの信頼度を検出する信頼度検出手段と、
前記動きベクトルの信頼度に基づいて、前記巡回係数を補正する補正手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項５】
前記信頼度検出手段は、前記動きベクトルの信頼度として、それぞれの前記動きベクトルについて、周辺の前記動きベクトルとのばらつきの度合いを示す第１の動き分散を検出し、
前記補正手段は、前記第１の動き分散が大きいほど、前記巡回係数を小さくするように補正する
請求項４に記載の画像処理装置。
【請求項６】
前記信頼度検出手段は、さらに、前記動きベクトルの信頼度として、それぞれの前記動きベクトルについて、その前記動きベクトルに対応する画素を前記動きベクトルで示される方向および距離だけ移動した位置の周辺における１フレーム前の動きベクトルとのばらつきの度合いを示す第２の動き分散を検出し、
前記補正手段は、さらに、前記第２の動き分散が大きいほど、前記巡回係数を小さくするように補正する
請求項５に記載の画像処理装置。
【請求項７】
前記動きベクトル検出手段は、所定の大きさのブロックごとに前記動きベクトルを検出し、
前記信頼度検出手段は、前記入力画像の前記ブロック内の画素値と、前記ブロックを前記動きベクトルで示される方向および距離だけ移動させた前記過去の出力画像のブロック内の画素値との差分値を検出し、
前記補正手段は、前記差分値が大きいほど、前記巡回係数を小さくするように補正する
請求項４に記載の画像処理装置。
【請求項８】
前記出力画像生成手段は、前記巡回係数が大きいほど前記出力画像における前記動き補償画像の割合を多くし、前記巡回係数が小さいほど前記出力画像における前記中間画像の割合を多くする
請求項１に記載の画像処理装置。
【請求項９】
インターレース方式の入力画像を、スケーリングされたプログレッシブ方式の出力画像に変換する画像処理装置の画像処理方法であって、
前記画像処理装置のIP変換スケーリング手段が、前記入力画像をプログレッシブ方式の画像に変換し、さらに画像サイズを変換することにより、スケーリングされたプログレッシブ方式の中間画像に変換し、
前記画像処理装置の動きベクトル検出手段が、前記入力画像の画素の間隔より短い距離を最小単位とする前記入力画像の動きベクトルを検出し、
前記画像処理装置の巡回係数設定手段が、検出された前記動きベクトル、並びに、前記入力画像の画素と、前記入力画像が変換された前記中間画像の画素との位置関係に基づいて、画素毎に巡回係数を設定し、
前記画像処理装置の動き補償手段が、検出された前記動きベクトルに基づいて、過去の前記出力画像に対して動き補償を施した画像である動き補償画像を生成し、
前記画像処理装置の出力画像生成手段が、前記入力画像が変換された前記中間画像の画素の画素値と、生成された前記動き補償画像の対応する位置にある画素の画素値とを、設定された前記巡回係数を用いて重み付け加算することにより前記出力画像を生成する
画像処理方法。
【請求項１０】
インターレース方式の入力画像を、スケーリングされたプログレッシブ方式の出力画像に変換するコンピュータを、
前記入力画像をプログレッシブ方式の画像に変換し、さらに画像サイズを変換することにより、スケーリングされたプログレッシブ方式の中間画像に変換するIP変換スケーリング手段と、
前記入力画像の画素の間隔より短い距離を最小単位とする前記入力画像の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された前記動きベクトル、並びに、前記入力画像の画素と、前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素との位置関係に基づいて、画素毎に巡回係数を設定する巡回係数設定手段と、
前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、過去の前記出力画像に対して動き補償を施した画像である動き補償画像を生成する動き補償手段と、
前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素の画素値と、前記動き補償手段により生成された前記動き補償画像の対応する位置にある画素の画素値とを、前記巡回係数設定手段により設定された前記巡回係数を用いて重み付け加算することにより前記出力画像を生成する出力画像生成手段
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、IP変換およびスケーリング処理を行う際の画質の低減を抑制することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
垂直方向に動く被写体を撮影したり、撮影装置を垂直方向に動かして撮影した場合、インターレース方式の画像（以下、インターレース画像とも称する）においては、垂直方向の帯域制限が不十分なため、垂直方向の折り返し歪み（以下、垂直折り返し歪みと称する）が発生し、水平方向の線の太さが変動したり、エッジの強さが変動したりする現象が発生する。また、垂直折り返し歪みは、インターレース方式の画像をプログレッシブ方式の画像（以下、プログレッシブ画像とも称する）に変換（以下、IP変換と称する）した場合、さらに目立って見える特徴がある。
【０００３】
ところで、IP変換の後に、画像サイズを変換するスケーリング処理を行う場合がある（例えば特許文献１および特許文献２参照）。
【０００４】
特許文献１に記載の方法では、図１に示されるように、例えば７２０×４８０のインターレース画像がIP変換処理によりプログレッシブ画像（７２０×４８０ｐ）に変換され、さらに、超解像スケーリング処理されて１４４０×９６０ｐの画像に変換される。
【０００５】
特許文献２に記載の方法では、図２に示されるように、例えば７２０×４８０のインターレース画像が仮のIP変換処理によりプログレッシブ画像（７２０×４８０ｐ）に変換される。その後、巡回型処理により、動きベクトルにより動き補償した過去の出力を巡回係数で入力足し込みが行われ、垂直折り返し歪みやノイズが除去される。そして、スケーリング処理されて１４４０×９６０ｐの画像に変換される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２５２７０１号公報
【特許文献１】特開２００７−２５１６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の方法の場合、スケーリング処理がIP変換結果に対して行われるので、入力画像の動き量を利用する事ができず、スケーリング処理による画質の低減を抑制することができない恐れがあった。また、超解像アルゴリズムの場合、反復法を用いるので繰り返し演算が必要であった。そのため、処理の負荷が増大したり、遅延時間が増大したりする恐れがあった。そのため、入力画像を変換しながら出力するといった即時的な処理に不向きであった。
【０００８】
また、引用文献２に記載の方法の場合、入力の動き情報を使った良好なIP変換を行うことができるものの、スケーリング処理では、入力の動き情報が使われないため、スケーリング処理による画質の低減を抑制することができない恐れがあった。
【０００９】
本発明は上述したような実情に鑑みて提案されたものであり、入力画像の動き情報を用いて、IP変換およびスケーリング処理を行う際の画質の低減を抑制することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面は、インターレース方式の入力画像を、スケーリングされたプログレッシブ方式の出力画像に変換する画像処理装置において、前記入力画像をプログレッシブ方式の画像に変換し、さらに画像サイズを変換することにより、スケーリングされたプログレッシブ方式の中間画像に変換するIP変換スケーリング手段と、前記入力画像の画素の間隔より短い距離を最小単位とする前記入力画像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された前記動きベクトル、並びに、前記入力画像の画素と、前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素との位置関係に基づいて、画素毎に巡回係数を設定する巡回係数設定手段と、前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、過去の前記出力画像に対して動き補償を施した画像である動き補償画像を生成する動き補償手段と、前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素の画素値と、前記動き補償手段により生成された前記動き補償画像の対応する位置にある画素の画素値とを、前記巡回係数設定手段により設定された前記巡回係数を用いて重み付け加算することにより前記出力画像を生成する出力画像生成手段とを備える画像処理装置である。
【００１１】
前記巡回係数設定手段は、前記中間画像の現在のフレームにおいて、注目画素と、前記注目画像に最も近い入力画像の画素との距離が近いほど、前記巡回係数の値を小さく設定することができる。
【００１２】
前記巡回係数設定手段は、前記中間画像の過去のフレームにおいて、前記注目画素から前記動きベクトル分移動した位置と、前記位置に最も近い入力画像の画素との距離が近いほど、前記巡回係数の値を大きく設定することができる。
【００１３】
前記動きベクトルの信頼度を検出する信頼度検出手段と、前記動きベクトルの信頼度に基づいて、前記巡回係数を補正する補正手段とをさらに備えることができる。
【００１４】
前記信頼度検出手段は、前記動きベクトルの信頼度として、それぞれの前記動きベクトルについて、周辺の前記動きベクトルとのばらつきの度合いを示す第１の動き分散を検出し、前記補正手段は、前記第１の動き分散が大きいほど、前記巡回係数を小さくするように補正することができる。
【００１５】
前記信頼度検出手段は、さらに、前記動きベクトルの信頼度として、それぞれの前記動きベクトルについて、その前記動きベクトルに対応する画素を前記動きベクトルで示される方向および距離だけ移動した位置の周辺における１フレーム前の動きベクトルとのばらつきの度合いを示す第２の動き分散を検出し、前記補正手段は、さらに、前記第２の動き分散が大きいほど、前記巡回係数を小さくするように補正することができる。
【００１６】
前記動きベクトル検出手段は、所定の大きさのブロックごとに前記動きベクトルを検出し、前記信頼度検出手段は、前記入力画像の前記ブロック内の画素値と、前記ブロックを前記動きベクトルで示される方向および距離だけ移動させた前記過去の出力画像のブロック内の画素値との差分値を検出し、前記補正手段は、前記差分値が大きいほど、前記巡回係数を小さくするように補正することができる。
【００１７】
前記出力画像生成手段は、前記巡回係数が大きいほど前記出力画像における前記動き補償画像の割合を多くし、前記巡回係数が小さいほど前記出力画像における前記中間画像の割合を多くすることができる。
【００１８】
本発明の一側面は、また、インターレース方式の入力画像を、スケーリングされたプログレッシブ方式の出力画像に変換する画像処理装置の画像処理方法であって、前記画像処理装置のIP変換スケーリング手段が、前記入力画像をプログレッシブ方式の画像に変換し、さらに画像サイズを変換することにより、スケーリングされたプログレッシブ方式の中間画像に変換し、前記画像処理装置の動きベクトル検出手段が、前記入力画像の画素の間隔より短い距離を最小単位とする前記入力画像の動きベクトルを検出し、前記画像処理装置の巡回係数設定手段が、検出された前記動きベクトル、並びに、前記入力画像の画素と、前記入力画像が変換された前記中間画像の画素との位置関係に基づいて、画素毎に巡回係数を設定し、前記画像処理装置の動き補償手段が、検出された前記動きベクトルに基づいて、過去の前記出力画像に対して動き補償を施した画像である動き補償画像を生成し、前記画像処理装置の出力画像生成手段が、前記入力画像が変換された前記中間画像の画素の画素値と、生成された前記動き補償画像の対応する位置にある画素の画素値とを、設定された前記巡回係数を用いて重み付け加算することにより前記出力画像を生成する画像処理方法である。
【００１９】
本発明の一側面は、さらに、インターレース方式の入力画像を、スケーリングされたプログレッシブ方式の出力画像に変換するコンピュータを、前記入力画像をプログレッシブ方式の画像に変換し、さらに画像サイズを変換することにより、スケーリングされたプログレッシブ方式の中間画像に変換するIP変換スケーリング手段と、前記入力画像の画素の間隔より短い距離を最小単位とする前記入力画像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された前記動きベクトル、並びに、前記入力画像の画素と、前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素との位置関係に基づいて、画素毎に巡回係数を設定する巡回係数設定手段と、前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、過去の前記出力画像に対して動き補償を施した画像である動き補償画像を生成する動き補償手段と、前記IP変換スケーリング手段により前記入力画像が変換された前記中間画像の画素の画素値と、前記動き補償手段により生成された前記動き補償画像の対応する位置にある画素の画素値とを、前記巡回係数設定手段により設定された前記巡回係数を用いて重み付け加算することにより前記出力画像を生成する出力画像生成手段として機能させるプログラムである。
【００２０】
本発明の一側面においては、入力画像がプログレッシブ方式の画像に変換され、さらにその画像サイズが変換されることにより、スケーリングされたプログレッシブ方式の中間画像に変換され、入力画像の画素の間隔より短い距離を最小単位とする入力画像の動きベクトルが検出され、検出された動きベクトル、並びに、入力画像の画素と、入力画像が変換された中間画像の画素との位置関係に基づいて、画素毎に巡回係数が設定され、検出された動きベクトルに基づいて、過去の出力画像に対して動き補償を施した画像である動き補償画像が生成され、入力画像が変換された中間画像の画素の画素値と、生成された動き補償画像の対応する位置にある画素の画素値とが、設定された巡回係数を用いて重み付け加算されることにより出力画像が生成される。
【発明の効果】
【００２１】
本発明によれば、画像を処理することができる。特に、IP変換およびスケーリング処理を行う際の画質の低減を抑制することができる。
【図面の簡単な説明】
【００２２】
【図１】従来のIP変換およびスケーリングの方法を説明する図である。
【図２】従来のIP変換およびスケーリングの方法を説明する図である。
【図３】本発明を適用した画像変換装置の主な構成例を示すブロック図である。
【図４】巡回型IP変換スケーリング部の主な構成例を示すブロック図である。
【図５】IP変換スケーリング部の主な構成例を示すブロック図である。
【図６】IP変換スケーリング部の他の構成例を示すブロック図である。
【図７】IP変換スケーリングの様子の例を説明する図である。
【図８】IP変換スケーリングの様子の例を説明する図である。
【図９】IP変換スケーリングの様子の例を説明する図である。
【図１０】IP変換スケーリングの様子の例を説明する図である。
【図１１】動きベクトル検出部の主な構成例を示すブロック図である。
【図１２】巡回係数設定部の主な構成例を示すブロック図である。
【図１３】画像処理の流れの例を説明するフローチャートである。
【図１４】巡回型IP変換スケーリング処理の流れの例を説明するフローチャートである。
【図１５】巡回型変換処理の流れの例を説明するフローチャートである。
【図１６】MCブロック差分値BDの検出方法を説明するための図である。
【図１７】MCブロック差分値BDの検出方法を説明するための図である。
【図１８】基本巡回係数設定の様子の例を説明する図である。
【図１９】基本巡回係数設定の様子の例を説明する図である。
【図２０】基本巡回係数設定の様子の例を説明する図である。
【図２１】動きベクトルの分布の例を示す図である。
【図２２】動きベクトルの分布の他の例を示す図である。
【図２３】動き分散MD0の算出方法を説明するための図である。
【図２４】動き分散MD1の算出方法を説明するための図である。
【図２５】動きベクトル検出処理の流れの例を説明するフローチャートである。
【図２６】画素以下精度の動きベクトルを検出する方法を説明するための図である。
【図２７】巡回型IP変換スケーリング部の他の構成例を示すブロック図である。
【図２８】巡回型IP変換スケーリング部の、さらに他の構成例を示すブロック図である。
【図２９】本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像変換装置）
２．第２の実施の形態（画像変換装置）
３．第３の実施の形態（画像変換装置）
４．第４の実施の形態（パーソナルコンピュータ）
【００２４】
＜１．第１の実施の形態＞
［画像変換装置の構成］
図３は、本発明を適用した画像処理装置の主な構成例を示すブロック図である。
【００２５】
図３に示される画像変換装置１００は、インターレース方式のＳＤ（Standard Definition）画像を、IP変換し、さらにスケーリング処理して、ＨＤ（High Definition）画像に変換する装置である。
【００２６】
図３に示されるように、画像変換装置１００は、巡回型IP変換スケーリング部１１１、自然画予測部１１３、人工画予測部１１４、自然画人工画判定部１１５、および、合成部１１６を有する。
【００２７】
巡回型IP変換スケーリング部１１１は、IP変換及びスケーリング処理を行う処理部であり、入力画像の動き情報を用いて、IP変換およびスケーリング処理を行う際の画質の低減を抑制する。巡回型IP変換スケーリング部１１１は、IP変換スケーリング部１２１および巡回型変換部１２２を有する。
【００２８】
IP変換スケーリング部１２１は、所定の方法に基づいて、入力されたインターレース方式のＳＤ画像（以下、入力画像とも称する）をプログレッシブ方式のＳＤ画像にIP変換し、さらにそのＳＤ画像をＨＤ画像（以下、中間画像とも称する）に変換する。IP変換スケーリング部１２１は、変換後のプログレッシブ方式のＨＤ画像を巡回型変換部１２２に供給する。
【００２９】
巡回型変換部１２２は、入力画像と、１フレーム前に巡回型変換部１２２から出力されたプログレッシブ方式のＨＤ画像（以下、出力画像とも称する）から生成したＳＤ画像との間の動きベクトルを求める。
【００３０】
巡回型変換部１２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像をより高画質のプログレッシブ方式のＨＤ画像である出力画像に変換する。
【００３１】
巡回型変換部１２２は、出力画像を、自然画予測部１１３、人工画予測部１１４、および、自然画人工画判定部１１５に供給する。なお、巡回係数は、中間画像の各画素について、入力画像と中間画像の画素の位置関係と、動きベクトルの確からしさを表す信頼度確からしさに基づいて設定される。
【００３２】
自然画予測部１１３は、巡回型変換部１２２から供給されるＨＤ画像から、そのＨＤ画像のうちの自然画像を高品質にしたＨＤ画像（以下、自然高品画像と称する）を予測する。具体的には、自然画予測部１１３は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。
【００３３】
そして、自然画予測部１１３は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、自然高品質画像を予測する。自然画予測部１１３は、その自然高品質画像を合成部１１６に供給する。
【００３４】
ここで、自然画像とは、後述する人工画像ではない画像のことであり、自然界に存在するものをそのまま撮像することにより得られる画像である。
【００３５】
人工画予測部１１４は、自然画予測部１１３と同様に、巡回型変換部１２２から供給されるＨＤ画像から、そのＨＤ画像のうちの人工画像を高品質にしたＨＤ画像(以下、人工高品質画像と称する)を予測する。具体的には、人工画予測部１１４は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。
【００３６】
そして、人工画予測部１１４は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、人工高品質画像を予測する。人工画予測部１１４は、その人工高品質画像を合成部１１６に出力する。
【００３７】
ここで、人工画像とは、文字や単純な図形などの、階調が少なく位相情報であるエッジ位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画像は、文字や単純図形等の階調があまり無く、輪郭等の位相情報が支配的になっている画像である。
【００３８】
自然画人工画判定部１１５は、巡回型変換部１２２より供給されるＨＤ画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として合成部１１６に出力する。すなわち、人工画度とは、人工画像と自然画像との中間に分類される領域において自然画像における人工画像の割合を０乃至１の値で示したものである。
【００３９】
合成部１１６は、自然画人工画判定部１１５より供給される判定結果に基づいて、自然画予測部１１３から供給される自然高品質画像の各画素の画素値と、人工画予測部１１４から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成し、合成の結果得られるＨＤ画像を出力する。
【００４０】
［巡回型IP変換スケーリング部の構成］
図４は、巡回型IP変換スケーリング部１１１の主な構成例を示すブロック図である。
【００４１】
図４に示されるように、巡回型IP変換スケーリング部１１１の巡回型変換部１２２は、動きベクトル検出部１３１、MC（Motion Compensation）ブロック差分検出部１３２、巡回係数設定部１３３、動き補償部１３４、積和演算部１３５、フレームメモリ１３６、およびスケーリング部１３７を有する。
【００４２】
なお、以下、巡回型IP変換スケーリング部１１１で処理される各画像の画素の位置を表す座標系について、水平（横）方向をｘ軸方向とし、垂直（縦）方向をｙ軸方向とする。すなわち、各画素の座標は、（ｘ，ｙ）で表される。また、以下、外部からIP変換スケーリング部１２１に入力されるインターレース方式のＳＤ画像である入力画像を画像Ｉ１とも称し、IP変換スケーリング部１２１から出力されるプログレッシブ方式のＨＤ画像である中間画像を画像Ｐ１とも称する。
【００４３】
動きベクトル検出部１３１は、画像Ｉ１の各画素の動きベクトルを検出する。巡回型変換部１２２から出力されたプログレッシブＨＤ画像である出力画像は、フレームメモリ１３６に記憶される。このようにフレームメモリ１３６に記憶されている１フレーム前の画像（以下、画像Ｐ３とも称する）は、フレームメモリ１３６から読み出され、スケーリング部１３７において、スケーリング処理され、入力画像Ｉ１と同じ画像サイズのＳＤ画像に変換される。このように変換されたＳＤ画像（以下、画像Ｐ３’とも称する）が、動きベクトル検出部１３１に供給される。
【００４４】
動きベクトル検出部１３１は、画像Ｉ１を、所定の大きさ、すなわち、縦Ｎ×横Ｍ画素（Ｎ，Ｍは任意の正の整数）のブロックに分割し、ブロックごとに動きベクトルを検出する。
【００４５】
なお、以下、ブロックなど、各画像内の所定のブロックの位置を表す座標系について、画素の位置を表す座標系と区別するために、水平（横）方向をＸ軸方向とし、垂直（縦）方向をＹ軸方向とする。すなわち、各ブロックの座標は（Ｘ，Ｙ）で表される。また、以下、座標（Ｘ，Ｙ）のブロックの動きベクトルをＶ（Ｘ，Ｙ）と表す。なお、各ブロックの左上隅の画素を基準画素といい、基準画素の座標を基準座標という。
【００４６】
動きベクトル検出部１３１は、検出した動きベクトルＶを示す情報を、MCブロック差分検出部１３２、巡回係数設定部１３３、および、動き補償部１３４に供給する。また、動きベクトル検出部１３１は、動きベクトルの検出に用いた画像Ｉ１および画像Ｐ３’をMCブロック差分検出部１３２に供給する。
【００４７】
MCブロック差分検出部１３２は、画像Ｉ１のブロックごとに、各ブロックの画素値と、そのブロックに対応する画像Ｐ３’のブロック、すなわち、画像Ｉ１の各ブロックを動きベクトルＶで示される方向および距離だけ移動させた位置にある画像Ｐ３’のブロックの画素値との差分値であるMCブロック差分値を検出する。MCブロック差分検出部１３２は、検出したMCブロック差分値を示す情報を巡回係数設定部１３３に供給する。
【００４８】
なお、以下、画像Ｉ１の座標（Ｘ，Ｙ）のブロックに対応するブロック差分値を、ＢＤ（Ｘ，Ｙ）と表す。
【００４９】
巡回係数設定部１３３は、動きベクトルＶ、MCブロック差分値ＢＤ、および、IP変換スケーリング部１２１から供給される入力画像Ｉ１の画素と中間画像Ｐ１の画素との位置関係Ｌに基づいて、画素毎に巡回係数Ｋを設定する。なお、以下、座標（ｘ，ｙ）の画素に対する巡回係数ＫをＫ（ｘ，ｙ）と表す。巡回係数設定部１３３は、設定した巡回係数Ｋを示す情報を積和演算部１３５に供給する。
【００５０】
動き補償部１３４は、フレームメモリ１３６から画像Ｐ３を読み出す。動き補償部１３４は、動きベクトルＶに基づいて、画像Ｐ３に対して動き補償を施した画像Ｐ４を生成する。なお、動きベクトルＶはＳＤ画像で検出されたものであるので、動き補償部１３４は、動きベクトルＶをＨＤ画像に対応させてから（ＨＤ画像上での表現に変更してから）動き補償を行う。動き補償部１３４は、画像Ｐ４を積和演算部１３５に供給する。
【００５１】
積和演算部１３５は、画像Ｐ１と画像Ｐ４とを巡回係数Ｋで示される割合で合成し（重み付け加算し）、プログレッシブ方式のＨＤ画像である出力画像（以下、画像Ｐ２とも称する）を生成する。積和演算部１３５は、画像Ｐ２を自然画予測部１１３、人口画予測部１１４、および自然画人口画判定部１１５に供給するとともに、フレームメモリ１３６に記憶させる。
【００５２】
［IP変換スケーリング部の構成］
入力画像を中間画像に変換するIP変換スケーリングの方法は任意である。したがって、IP変換スケーリング部１２１の構成は任意である。例えば、図５に示されるように、IP変換スケーリング部１２１が、クラス分類適応処理を用いてIP変換とスケーリング処理を行うようにしてもよい。
【００５３】
図５の例の場合、IP変換スケーリング部１２１は、クラス分類適応処理部１４１を有する。クラス分類適応処理部１４１は、入力画像より選択的に取り出された、出力画像を構成する単位画素ブロック内の各画素（注目画素）に対応するタップのデータよりクラスコードを得る。また、クラス分類適応処理部１４１は、各クラスの係数種データと注目画素の位相情報に基づいて各クラスの係数データを生成する。そして、クラス分類適応処理部１４１は、注目画素に対応するタップのデータと、クラスコードで読み出された係数データとから、推定式を使用して注目画素のデータを演算する。
【００５４】
このようにすることにより、クラス分類適応処理部１４１は、入力画像Ｉ１に対して、IP変換およびスケーリング処理を行い、中間画像Ｐ１を生成し、それを積和演算部１３５に供給する。また、クラス分類適応処理部１４１は、入力画像Ｉ１の画素と中間画像Ｐ１の画素との位置関係Ｌを巡回係数設定部１３３に供給する。
【００５５】
なお、クラス分類適応処理の詳細の例については、特開２００２−１９６７３７号公報に記載されている。
【００５６】
また、IP変換スケーリング部１２１は、図６に示されるように、IP変換とスケーリング処理を順次行うようにしてもよい。図６の例の場合、IP変換スケーリング部１２１は、動き適応型IP変換部１４２および線形補間スケーリング部１４３を有している。
【００５７】
動き適応型IP変換部１４２は、新たに生成する注目画素について、その注目画素と同じ位置の画素の時間的変化よりも、注目画素と同じフィールドの位置的変化の方が大きい場合、その注目画素が、画像の動きが少ない静止領域に含まれると見なされる。この場合、動き適応型IP変換部１４２は、前後のフィールドの同位置の画素の画素値の平均値を注目画素の画素値とする。
【００５８】
また、動き適応型IP変換部１４２は、新たに生成する注目画素について、その注目画素と同じ位置の画素の時間的変化の方が、注目画素と同じフィールドの位置的変化よりも大きい場合、その注目画素が、画像の動きが大きい動作領域に含まれると見なされる。この場合、動き適応型IP変換部１４２は、注目画素に隣接する画素の画素値の平均値を注目画素の画素値とする。
【００５９】
線形補間スケーリング部１４３は、動き適応型IP変換部１４２により生成されたIP変換結果画像Ｐ０に対して、線形補間を用いた画像の拡大若しくは縮小を行い、中間画像Ｐ１を生成する。線形補間スケーリング部１４３は、生成した中間画像Ｐ１を積和演算部１３５に供給するとともに、入力画像Ｉ１の画素と中間画像Ｐ１の画素との位置関係Ｌを巡回係数設定部１３３に供給する。
【００６０】
［入力画像と中間画像の位置関係］
次に、入力画像の画素と中間画像の画素との位置関係Ｌの例について説明する。図７および図８は、IP変換の後、水平方向および垂直方向にそれぞれ２倍ずつ拡大した場合の位置関係の例を示している。図７は、水平方向および垂直方向の位置関係を示し、図８は、時間方向と垂直方向の位置関係を示している。黒丸が中間画像の画素を示しており、白丸が入力画像の画素を示している。なお、実線の白丸と点線の白丸はフィールドの違いを示す。
【００６１】
図９および図１０は、IP変換の後、水平方向および垂直方向にそれぞれ８／３倍ずつ拡大した場合の位置関係の例を示している。図９は、水平方向および垂直方向の位置関係を示し、図１０は、時間方向と垂直方向の位置関係を示している。このように、スケーリングは整数倍に限定されない。
【００６２】
［動きベクトル検出部の構成］
図１１は、動きベクトル検出部１３１の主な構成例を示すブロック図である。
【００６３】
図１１に示されるように、動きベクトル検出部１３１は、動き評価値検出部２０１、画素精度動きベクトル検出部２０２、タップ抽出部２０３、およびタップ抽出部２０４を有する。また、動きベクトル検出部１３１は、ADRC(Adaptive Dynamic Range Coding)処理部２０５、クラス分類部２０６、係数メモリ２０７、予測演算部２０８、および、画素以下精度動きベクトル検出部２０９を有する。
【００６４】
動き評価値検出部２０１は、外部から入力される画像Ｉ１を取得し、フレームメモリ１３６から画像Ｐ３を取得する。動き評価値検出部２０１は、画像Ｉ１を所定の大きさのブロックに分割し、各ブロックを順次注目ブロックとする。さらに、動き評価値検出部２０１は、画像Ｐ３の所定の範囲内の画素を、順次、注目画素とし、注目画素を基準画素とする注目ブロックと同じ大きさのブロック（以下、比較対象ブロックと称する）と注目ブロックとの対応する位置にある画素の画素値との差分をとり、その差分値の絶対値を合計した値を、注目画素に対する動き評価値として求める。動き評価値検出部２０１は、検出した動き評価値を示す情報を、画素精度動きベクトル検出部２０２、タップ抽出部２０３、およびタップ抽出部２０４に供給する。また、動き評価値検出部２０１は、動きベクトルの検出に用いた画像Ｉ１および画像Ｐ３をMCブロック差分検出部１３２に供給する。
【００６５】
なお、以下、座標（ｘ，ｙ）の注目画素に対する動き評価値をＭ（ｘ，ｙ）と表す。
【００６６】
画素精度動きベクトル検出部２０２は、動き評価値Ｍが最小となる画素（以下、最小評価値画素と称する）の座標と、注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックに対する画素精度、すなわち、プログレッシブ画像における画素の間隔と等しい距離を最小単位とする動きベクトルとして検出する。画素精度動きベクトル検出部２０２は、検出した画素精度の動きベクトルを示す情報をタップ抽出部２０３およびタップ抽出部２０４に供給する。
【００６７】
タップ抽出部２０３は、最小評価値画素と最小評価値画素に隣接する画素との間の位置、すなわち、画素以下精度の位置（以下、予測位置ともいう）における動き評価値を予測するのに用いる画素であって、最小評価値画素を含む最小評価値画素の近傍の画像Ｐ３の画素に対応する動き評価値Ｍを予測タップとして抽出する。タップ抽出部２０３は、抽出した予測タップを予測演算部２０８に供給する。
【００６８】
タップ抽出部２０４は、最小評価値画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる画像Ｐ３のいくつかの画素に対応する動き評価値Ｍを、クラスタップとして抽出する。タップ抽出部２０４は、抽出したクラスタップをADRC処理部２０５に供給する。
【００６９】
ADRC処理部２０５は、クラスタップを構成する画素の動き評価値ＭをADRC処理し、その結果得られるADRCコードを示す情報をクラス分類部２０６に供給する。
【００７０】
なお、ＫビットADRCにおいては、例えば、クラスタップを構成する画素の動き評価値Ｍの最大値MAXと最小値MINが検出され、ＤＲ＝MAX−MINを、クラスタップを構成する動き評価値Ｍの集合の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する動き評価値ＭがＫビットに再量子化される。即ち、クラスタップを構成する各画素の動き評価値Ｍから、最小値MINが減算され、その減算値がＤＲ／２Ｋで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するＫビットの各画素の動き評価値Ｍを、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７１】
クラス分類部２０６は、ADRC処理部２０５からのADRCコードに基づき、最小評価値画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ２０７に供給する。
【００７２】
係数メモリ２０７は、学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶している。係数メモリ２０７は、その記憶しているタップ係数のセットのうちの、クラス分類部２０６から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、すなわち、クラス分類部２０６から供給されるクラスコードが表すクラスのタップ係数を、予測演算部２０８に供給する。
【００７３】
予測演算部２０８は、タップ抽出部２０３が出力する予測タップと、係数メモリ２０７が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、予測位置における動き評価値Ｍの真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２０８は、予測位置における動き評価値Ｍ’の予測値を求めて、画素以下精度動きベクトル検出部２０９に供給する。
【００７４】
画素以下精度動きベクトル検出部２０９は、最小評価値画素および予測位置の中から動き評価値が最小となる画素または位置を検出し、検出した画素または位置の座標と、注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックに対する画素以下精度の動きベクトルＶとして検出する。画素以下精度動きベクトル検出部２０９は、検出した動きベクトルＶを示す情報をMCブロック差分検出部１３２、巡回係数設定部１３３、および動き補償部１３４に供給する。
【００７５】
［巡回係数設定部の構成］
図１２は、巡回係数設定部１３３の主な構成例を示すブロック図である。
【００７６】
図１２に示されるように、巡回係数設定部１３３は、基本巡回係数設定部２５１、動き分散検出部２５２、および巡回係数算出部２５３を有する。また、巡回係数算出部２５３は、動き分散差し引き量算出部２６１、MCブロック差分差し引き量算出部２６２、演算部２６３、および演算部２６４を有する。
【００７７】
基本巡回係数設定部２５１は、動きベクトルＶと、入力画像の画素と中間画像の画素との位置関係Ｌに基づいて、基本巡回係数Ｋ０を設定する。なお、以下、座標（ｘ，ｙ）の画素に対する基本巡回係数Ｋ０をＫ０（ｘ，ｙ）と表す。基本巡回係数設定部２５１は、基本巡回係数Ｋ０を演算部２６３に供給する。
【００７８】
動き分散検出部２５２は、動きベクトル検出部１３１により検出された動きベクトルＶの信頼度として、周囲の動きベクトルＶとの間のばらつきの度合いを示す動き分散ＭＤを検出する。なお、以下、動きベクトルＶ（Ｘ，Ｙ）に対する動き分散ＭＤを、ＭＤ（Ｘ，Ｙ）と表す。動き分散検出部２５２は、動き分散ＭＤを示す情報を動き分散差し引き量算出部２６１に供給する。
【００７９】
動き分散差し引き量算出部２６１は、動き分散ＭＤに基づいて、基本巡回係数Ｋ０を補正するための補正値である動き分散差し引き量ＫＭ１を算出する。なお、以下、画像Ｐ１の座標（ｘ，ｙ）の画素に対する動き分散差し引き量ＫＭ１を、ＫＭ１（ｘ，ｙ）と表す。動き分散差し引き量算出部２６１は、動き分散差し引き量ＫＭ１を示す情報を演算部２６３に供給する。
【００８０】
MCブロック差分差し引き量算出部２６２は、MCブロック差分値ＢＤに基づいて、基本巡回係数Ｋ０を補正するための補正値であるMCブロック差分差し引き量ＫＭ２を算出する。なお、以下、画像Ｐ１の座標（ｘ，ｙ）の画素に対するMCブロック差分差し引き量ＫＭ２を、ＫＭ２（ｘ，ｙ）と表す。MCブロック差分差し引き量算出部２６２は、MCブロック差分差し引き量ＫＭ２を示す情報を演算部２６４に供給する。
【００８１】
演算部２６３は、基本巡回係数Ｋ０から動き分散差し引き量ＫＭ１を減算する。演算部２６４は、演算部２６３により算出された値からMCブロック差分差し引き量ＫＭ２を減算する。これにより、巡回係数Ｋが算出される。なお、以下、画像Ｐ１の座標（ｘ，ｙ）の画素に対する巡回係数ＫをＫ（ｘ，ｙ）と表す。演算部２６４は、巡回係数Ｋを示す情報を積和演算部１３５に供給する。
【００８２】
［画像処理の流れ］
次に、図１３のフローチャートを参照して、画像変換装置１００により実行される画像処理の流れの例を説明する。画像処理は、例えば、外部から画像Ｉ１の入力が開始されたとき開始される。
【００８３】
画像処理が開始されると、巡回型IP変換スケーリング部１１１は、ステップＳ１０１において、巡回型IP変換スケーリング処理を行う。
【００８４】
ステップＳ１０２において、自然画予測部１１３は、自然画予測処理を行う。具体的には、巡回型IP変換スケーリング部１１１から供給されるＨＤ画像から、そのＨＤ画像のうちの自然画像を高品質にした自然高品画像を予測する。すなわち、自然画予測部１１３は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。
【００８５】
そして、自然画予測部１１３は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、巡回型IP変換スケーリング部１１１から供給されたＨＤ画像から、自然高品質画像を予測する。自然画予測部１１３は、その自然高品質画像を合成部１１６に供給する。
【００８６】
ステップＳ１０３において、人工画予測部１１４は、人工画予測処理を行う。具体的には、人工画予測部１１４は、自然画予測部１１３と同様に、巡回型IP変換スケーリング部１１１から供給されるＨＤ画像から、そのＨＤ画像のうちの人工画像を高品質にした人工高品質画像を予測する。すなわち、人工画予測部１１４は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。
【００８７】
そして、人工画予測部１１４は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、巡回型IP変換スケーリング部１１１から供給されたＨＤ画像から、人工高品質画像を求める。人工画予測部１１４は、その人工高品質画像を合成部１１６に出力する。
【００８８】
ステップＳ１０４において、自然画人工画判定部１１５は、自然画人工画判定処理を行う。具体的には、自然画人工画判定部１１５は、巡回型IP変換スケーリング部１１１より供給されるＨＤ画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として合成部１１６に出力する。
【００８９】
ステップＳ１０５において、合成部１１６は、画像を合成する。具体的には、合成部１１６は、自然画人工画判定部１１５より供給される判定結果に基づいて、自然画予測部１１３から供給される自然高品質画像の各画素の画素値と、人工画予測部１１４から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成する。合成部１１６は、合成した画像を後段の装置に出力する。
【００９０】
なお、複数の画像の画像変換を連続して行う場合、上述したステップＳ１０１乃至Ｓ１０５の処理が繰り返し実行される。
【００９１】
［巡回型IP変換スケーリング処理の流れ］
次に、図１４のフローチャートを参照して、図１３のステップＳ１０１において実行される巡回型IP変換スケーリング処理の流れの例を説明する。
【００９２】
巡回型IP変換スケーリング処理が開始されると、IP変換スケーリング部１２１は、ステップＳ１２１において、IP変換スケーリング処理を行い、中間画像Ｐ１を生成する。ステップＳ１２２において、巡回型変換部１２２は、巡回型変換処理を行い、出力画像Ｐ２を生成する。
【００９３】
ステップＳ１０２の処理が終了すると、巡回型IP変換スケーリング部１１１は、巡回型IP変換スケーリング処理を終了し、処理を図１３のステップＳ１０１に戻し、ステップＳ１０２に処理を進める。
【００９４】
［巡回型変換処理の流れ］
次に、図１５のフローチャートを参照して、図１４のステップＳ１２２において実行される巡回型変換処理の流れの例を説明する。
【００９５】
巡回型変換処理が開始されると、動きベクトル検出部１３１は、ステップＳ１４１において、動きベクトル検出処理を行う。この処理により、画像Ｉ１の各画素の画素以下精度の動きベクトルＶが検出される。
【００９６】
ステップＳ１４２において、MCブロック差分検出部１３２は、MCブロック差分値を検出する。ここで、図１６および図１７を参照して、MCブロック差分値の検出方法を説明する。
【００９７】
まず、図１６に示されるように、画像Ｉ１のブロックＢ０に対応する位置にある画像Ｐ３’のブロックをＢ０’とする。また、ブロックＢ０の動きベクトルＶで示される方向および距離だけブロックＢ０’を移動させたブロックをブロックＢ１とする。
【００９８】
動きベクトルＶは画素以下精度であるため、水平動き量または垂直動き量に小数部分が存在する場合、ブロックＢ１の画素の位置は、画像Ｐ３’の実際の画素の位置と一致しない。ここで、図１７を参照して、ブロックＢ１が、画像Ｐ３’における実際の画素の位置と一致しない場合に、ブロックＢ１の各画素の画素値を算出する方法を説明する。
【００９９】
図１７の黒丸で示される画素zは、ブロックＢ１内の１つの画素であって、画像Ｐ３’に実在しない位置にある画素である。白丸で示される画素ａ乃至ｄは、画素ｚに隣接する（すなわち、最も近い）画像Ｐ３’に実在する画素である。画素ａ乃至ｄおよび画素ｚの画素値を、それぞれａ乃至ｄおよびｚとし、画素ｚの左斜め上にある画素ａと画素ｚと間のｘ軸方向の距離をxd、ｙ軸方向の距離をydとした場合、画素ｚの画素値ｚは、以下の式（１）に基づいて算出される。
【０１００】
z＝(1−yd)×((1−xd)×a＋xd×b)＋yd×((1−xd)×c＋xd×d)  ・・・(１)
【０１０１】
なお、ブロックＢ１の画素の位置が、画像Ｐ３’に実在する画素の位置と一致する場合、そのまま画像Ｐ３’の画素値がブロックＢ１の各画素の画素値とされる。
【０１０２】
MCブロック差分検出部１３２は、ブロックＢ１の各画素の画素値を算出した後、以下の式（２）に基づいて、MCブロック差分値ＢＤを算出する。
【０１０３】
【数１】
2011216967.tif 000003
【０１０４】
なお、Ｂ０（ｉ，ｊ）は、ブロックＢ０の左上隅の画素である基準画素を原点（０，０）とする位置（ｉ，ｊ）にあるブロックＢ０内の画素の画素値を示し、Ｂ１（ｉ，ｊ）は、ブロックＢ１の基準画素を原点（０，０）とする位置（ｉ，ｊ）にあるブロックＢ１内の画素の画素値を示す。すなわち、MCブロック差分値ＢＤは、ブロックＢ０とブロックＢ１の対応する位置にある画素の画素値の差分をとり、その差分値の絶対値の合計値となる。
【０１０５】
従って、現在のフレームと１つ前のフレームの対応するブロック内の画像の変化が大きいほど、MCブロック差分値ＢＤは大きくなる。すなわち、MCブロック差分値ＢＤが大きいブロックは、被写体が変形もしくは複雑な動きをしていたり、小さな被写体が複数存在していたり、被写体のエッジ部分を含んでいたりするなどの原因により、画像の動きが複雑な領域のブロックである可能性が高い。従って、そのブロックについて検出された動きベクトルＶは正確に検出されていない可能性が高く、その動きベクトルＶの信頼度は低いと言える。
【０１０６】
MCブロック差分検出部１３２は、画像Ｉ１の各ブロックについて、MCブロック差分値ＢＤを検出し、検出したMCブロック差分値ＢＤを示す情報をMCブロック差分差し引き量算出部２６２に供給する。
【０１０７】
図１５に戻り、ステップＳ１４３において、基本巡回係数設定部２５１は、基本巡回係数Ｋ０を設定する。
【０１０８】
従来の方法においては、入力画像の画素以下精度の動き量を利用して過去から画素情報を得ることで入力画像の１フィールドだけからでは作成することができない高精細なIP変換結果を得ることができた。
【０１０９】
このとき、巡回係数は、図１８に示されるように、中間画像の、その巡回係数を用いて画素値を補正する画素が、入力画像に存在する画素であるか否かによって２種類（kaとkb）用意される。
【０１１０】
これに対して、本発明の場合、入力画像の画素以下精度の動き量を利用して過去から画素情報を得ることで、入力画像の１フィールドやIP変換結果だけからでは作成することができない高精細なIP変換スケーリング結果を得ることができる。
【０１１１】
この場合、スケーリング処理においては任意に拡大縮小が可能であるので、入力画像に存在する画素であるか否か以上の分類が必要である。また、この場合、スケーリング処理が行われるので、水平方向についての動きも考慮する必要がある。
【０１１２】
そこで、この場合、巡回係数は、図１９に示されるように、入力画像の画素と中間画像の画素との位置関係Ｌに応じて、画素毎に求める。
【０１１３】
なお、図１９においては、説明の便宜上、複数の入力フィールドを用いて中間画像の画素を生成するように示されているが、実際には、過去の出力１フレームのみを参照し、巡回係数を用いて補正することにより、等価的に中間画像の画素を生成する。
【０１１４】
そこで、基本巡回係数設定部２５１は、図２０に示されるように、中間画像の注目画素と、その注目画素に最も近い入力画像の画素との距離ｄ０と、１つ前のフレームにおける、注目画素から動きベクトル分だけ動かしたの画素と、その画素に最も近い入力画像の画素との距離ｄを求める。
【０１１５】
この２つの変数ｄ０およびｄについて、基本巡回係数設定部２５１は、距離ｄ０が小さい、すなわち、注目画素が現在のフレームの入力画像の画素に近い場合、その現在のフレームの入力画像から生成された中間画像に重みを付ける。逆に、距離ｄが小さい、すなわち、注目画素が１つ前のフレームの（過去の）入力画像の画素に近い場合、基本巡回係数設定部２５１は、その過去の入力画像から生成された中間画像に重みを付ける。
【０１１６】
つまり、基本巡回係数設定部２５１は、以下の式（３）に示されるように、基本巡回係数Ｋ０を算出する。
【０１１７】
Ｋ０＝ｄ０／（ｄ０＋ｄ）  ・・・（３）
【０１１８】
このように、入力画像の画素と中間画像の画素との位置関係Ｌに応じて、基本巡回係数Ｋ０を設定することにより、画像Ｐ１の解像度を良好に保ちつつ、すなわち、画像をぼかさずに、垂直折り返し歪みやノイズを除去することが可能になる。
【０１１９】
ステップＳ１４４において、動き分散検出部２５２は、動き分散を検出する。ここで、図２１および図２２を参照して、動き分散について説明する。
【０１２０】
図２１および図２２は、動きベクトルの分布の例を示す図である。図２１に示されるように、斜線で示されるブロックの動きベクトルV0aが、周辺の動きベクトルV1a乃至V8aとほぼ同様である場合、すなわち、動きベクトルV0aと周辺のブロックの動きベクトルV1a乃至V8aとの類似性が高い場合、動きベクトルV0aは正確に求められている可能性が高く、動きベクトルV0aの信頼度は高いと言える。
【０１２１】
一方、図２２に示されるように、斜線で示されるブロックの動きベクトルV0bおよび周辺のブロックの動きベクトルV1b乃至V8bの大きさや向きが大きく異なる場合、すなわち、動きベクトルV0bと周辺の動きベクトルV1b乃至V8bとの類似性が低い場合、動きベクトルV0bは正確に求められていない可能性が高く、動きベクトルV0bの信頼度は低いと言える。
【０１２２】
そこで、動き分散検出部２５２は、動きベクトル検出部１３１により検出された動きベクトルＶの信頼度として、各動きベクトルＶについて、周辺の動きベクトルＶとのばらつきの度合いを示す動き分散ＭＤ０を検出する。
【０１２３】
具体的には、例えば、図２３の斜線で示される座標（Ｘ，Ｙ）のブロックBpの動きベクトルＶ（Ｘ，Ｙ）に対する動き分散ＭＤ０（Ｘ，Ｙ）を、ブロックBpを中心とする縦Nb0×横Mb0ブロック（画素数で表現した場合、縦Np0×横Mp0画素）の領域Ｄ０を対象に、以下の式（４）に基づいて算出する。なお、領域Ｄ０の左上隅の画素の座標を（ｘ０，ｙ０）とする。
【０１２４】
【数２】
2011216967.tif 000004
【０１２５】
なお、vx0（ｘ，ｙ）は、座標（ｘ，ｙ）の画素が含まれるブロックの水平動き量を示し、vy0（ｘ，ｙ）は、座標（ｘ，ｙ）の画素が含まれるブロックの垂直動き量を示す。
【０１２６】
すなわち、動き分散ＭＤ０は、ブロックBpの動きベクトルＶと、領域Ｄ０内の各画素の動きベクトルＶとの間の距離の２乗の平均値を表す。
【０１２７】
また、動き分散検出部２５２は、動きベクトルＶの信頼度として、各動きベクトルＶについて、その動きベクトルＶに対応する画素（またはブロック）を、動きベクトルＶで示される方向および距離だけ移動した位置の周辺における１フレーム前の動きベクトルＶとのばらつきを示す動き分散ＭＤ１を検出する。
【０１２８】
具体的には、例えば、まず、図２３のブロックBpに対応する位置にある１フレーム前の画像のブロックを、図２４のブロックBp'とする。また、ブロックBpの動きベクトルＶ（Ｘ，Ｙ）の水平動き量VX（Ｘ，Ｙ）および垂直動き量VY（Ｘ，Ｙ）の小数点以下を四捨五入した値により示される方向および距離だけブロックBp'を移動させたブロックをブロックBmとする。動き分散検出部２５２は、ブロックBpの動きベクトルＶ（Ｘ，Ｙ）に対する動き分散ＭＤ１（Ｘ，Ｙ）を、ブロックBmを中心とする縦Nb1×横Mb1ブロック（画素数で表現した場合、縦Np1×横Mp1画素）の領域Ｄ１を対象に、以下の式（５）に基づいて算出する。なお、領域Ｄ１の左上隅の画素の座標を（ｘ１，ｙ１）とする。
【０１２９】
【数３】
2011216967.tif 000005
【０１３０】
なお、vx1（ｘ，ｙ）は、１フレーム前の座標（ｘ，ｙ）の画素が含まれるブロックの水平動き量を示し、vy1（ｘ，ｙ）は、１フレーム前の座標（ｘ，ｙ）の画素が含まれるブロックの垂直動き量を示す。
【０１３１】
すなわち、動き分散ＭＤ１は、ブロックBpの動きベクトルＶと、領域Ｄ１内の各画素の動きベクトルＶとの間の距離の２乗の平均値を表す。
【０１３２】
さらに、動き分散検出部２５２は、以下の式（６）に基づいて、動き分散ＭＤ（Ｘ，Ｙ）を算出する。
【０１３３】
ＭＤ（Ｘ，Ｙ）＝ＭＤ１（Ｘ，Ｙ）＋ＭＤ２（Ｘ，Ｙ）  ・・・(６)
【０１３４】
従って、対象となる動きベクトルＶと周囲の動きベクトルＶとの間のばらつきが大きいほど、動き分散ＭＤ（Ｘ，Ｙ）は大きくなる。すなわち、その動きベクトルＶ（Ｘ，Ｙ）に対応する画素およびその近傍は、被写体が変形もしくは複雑な動きをしていたり、小さな被写体が複数存在していたりするなどの原因により、画像の動きが複雑な領域である可能性が高い。従って、その動きベクトルVは正確に検出されていない可能性が高く、その動きベクトルＶ（Ｘ，Ｙ）の信頼度は低いと言える。
【０１３５】
動き分散検出部２５２は、上述した方法に従って、各動きベクトルＶに対する動き分散ＭＤを算出し、動き分散ＭＤを示す情報を動き分散差し引き量算出部２６１に供給する。
【０１３６】
ステップＳ１４５において、動き分散差し引き量算出部２６１は、動き分散差し引き量を算出する。具体的には、動き分散差し引き量算出部２６１は、画像Ｐ１の各画素に対する動き分散差し引き量ＫＭ１を、その画素が含まれるブロックの動き分散ＭＤを用いて、以下の式（７）に基づいて算出する。
【０１３７】
ＫＭ１（ｘ，ｙ）＝a1×ＭＤ（Ｘ，Ｙ）＋b1  ・・・（７）
【０１３８】
なお、a1およびb1は所定の値の定数である。ただし、定数a1は正の値とされる。また、式（７）の右辺の値が０より小さくなる場合、ＫＭ１（ｘ，ｙ）は０に補正される。
【０１３９】
ステップＳ１４６において、MCブロック差分差し引き量算出部２６２は、MCブロック差分差し引き量を求める。具体的には、MCブロック差分差し引き量算出部２６２は、画像Ｐ１の各画素に対するMCブロック差分差し引き量ＫＭ２を、その画素が含まれるブロックのMCブロック差分値ＢＤを用いて、以下の式（８）に基づいて算出する。
【０１４０】
ＫＭ２（ｘ，ｙ）＝a2×ＢＤ（Ｘ，Ｙ）＋b2  ・・・（８）
【０１４１】
なお、a2，b2は所定の定数である。ただし、定数a2は正の値とされる。また、式（８）の右辺の値が０より小さくなった場合、ＫＭ２（ｘ，ｙ）は０に補正される。
【０１４２】
ステップＳ１４７において、演算部２６３および演算部２６４は、巡回係数を算出する。具体的には、演算部２６３は、基本巡回係数Ｋ０から動き分散差し引き量ＫＭ１を減算する。演算部２６４は、演算部２６３における演算結果からMCブロック差分差し引き量ＫＭ２を減算する。その減算結果が巡回係数Ｋとされる。すなわち、画像Ｐ１の座標（ｘ，ｙ）にある画素に対する巡回係数Ｋ（ｘ，ｙ）は、以下の式（９）のように算出される。
【０１４３】
Ｋ（ｘ，ｙ）＝Ｋ０（ｘ，ｙ）−ＫＭ１（ｘ，ｙ）−ＫＭ２（ｘ，ｙ）    ・・・（９）
【０１４４】
すなわち、巡回係数Ｋ（ｘ，ｙ）は、動き分散差し引き量ＫＭ１（ｘ，ｙ）またはMCブロック差分差し引き量ＫＭ２（ｘ，ｙ）が大きいほど、すなわち、動き分散ＭＤ（ｘ，ｙ）またはMCブロック差分値ＢＤ（ｘ，ｙ）が大きいほど、小さくなるように補正される。
【０１４５】
ステップＳ１４８において、動き補償部１３４は、１フレーム前の出力画像に対して動き補償を施す。具体的には、動き補償部１３４は、フレームメモリ１３６から１フレーム前の画像Ｐ３を読み出す。動き補償部１３４は、動きベクトルＶを用いて、画像Ｐ３に対して動き補償を施した画像Ｐ４を生成する。
【０１４６】
なお、画像Ｐ４の各画素の画素値は、その画素に対応する位置にある画像Ｐ１の画素の動きベクトルＶで示される方向および距離だけ移動した位置にある画像Ｐ３の画素の画素値とされる。ただし、動きベクトルＶの水平動き量または垂直動き量に小数部分が存在し、画像Ｐ３の動きベクトルＶだけ移動した位置に実際の画素が存在しない場合、図１７を参照して上述した方法と同様の方法により、画像Ｐ４の画素値が算出される。
【０１４７】
ステップＳ１４９において、積和演算部１３５は、画像を合成し、巡回型変換処理は終了する。具体的には、積和演算部１３５は、画像Ｐ１と画像Ｐ４の対応する位置にある画素の画素値を、巡回係数Ｋを用いて、重み付け加算する。すなわち、積和演算部１３５は、巡回係数Ｋを用いて、以下の式（１０）に基づいて、画像Ｐ２の画素値を算出する。
【０１４８】
出力画像Ｐ２＝(１−Ｋ)×中間画像Ｐ１＋Ｋ×動き補償画像Ｐ４  ・・・（１０）
【０１４９】
一般的に、巡回係数Ｋの値が大きくなるほど、出力画像Ｐ２における動き補償画像Ｐ４の成分の占める割合が大きくなるため、出力画像Ｐ２における、垂直折り返し歪みの発生の抑制効果が高くなる一方、画像のボケが発生しやすくなる。
【０１５０】
逆に、巡回係数Ｋの値が小さくなるほど、出力画像Ｐ２において動き補償画像Ｐ４の成分の占める割合が小さくなるため、出力画像Ｐ２における垂直折り返し歪みの発生の抑制効果が低くなる一方、画像のボケの発生は抑制される。
【０１５１】
本発明の実施の形態では、巡回係数Ｋは、上述したように、動き分散差し引き量ＫＭ１またはMCブロック差分差し引き量ＫＭ２が大きいほど、すなわち、動き分散ＭＤまたはMCブロック差分値ＢＤが大きいほど小さくなる。
【０１５２】
すなわち、座標（ｘ，ｙ）の画素の動きベクトルＶ（Ｘ，Ｙ）の信頼度が低く、重み付け加算する中間画像Ｐ１の画素と動き補償画像Ｐ４の画素との相関が低い可能性が高い場合、または、その画素が、折り返し歪みまたはランダムノイズが目立ちにくい、画像の動きが複雑な領域に含まれる可能性が高い場合、画素値Ｐ２（ｘ，ｙ）における画素値Ｐ１（ｘ，ｙ）の成分が占める割合が大きくなる。
【０１５３】
これに対して、座標（ｘ，ｙ）の画素の動きベクトルＶ（Ｘ，Ｙ）の信頼度が高く、重み付け加算する中間画像Ｐ１の画素と動き補償画像Ｐ４の画素との相関が高い可能性が高い場合、または、その画素が、折り返し歪みまたはランダムノイズが目立ちやすい、広い範囲にわたって画像の動きが少ない領域に含まれる可能性が高い場合、画素値Ｐ２（ｘ，ｙ）における画素値Ｐ１（ｘ，ｙ）の成分が占める割合が大きくなる。
【０１５４】
また、垂直折り返し歪みが大きいほど、巡回係数Ｋの値は大きくなり、画素値Ｐ２（ｘ，ｙ）における画素値Ｐ４（ｘ，ｙ）の成分が占める割合が大きくなる。一方、垂直折り返し歪みが小さいほど、巡回係数Ｋの値は小さくなり、画素値Ｐ２（ｘ，ｙ）における画素値Ｐ１（ｘ，ｙ）の成分が占める割合が大きくなる。
【０１５５】
［巡回型変換処理の流れ］
次に、図２５のフローチャートを参照して、図１５のステップＳ１４１の動きベクトル検出処理の詳細を説明する。
【０１５６】
ステップＳ１６１において、動き評価値検出部２０１は、１フレーム前の画像を取得する。具体的には、動き評価値検出部２０１は、１フレーム前の出力画像である画像Ｐ３’を、スケーリング部１３７から取得する。
【０１５７】
ステップＳ１６２において、動き評価値検出部２０１は、画素位置の動き評価値を算出する。具体的には、動き評価値検出部２０１は、画像Ｉ１内のブロックのうち、まだ動きベクトルを検出していないブロックを１つ選択して、注目ブロックとする。動き評価値検出部２０１は、画像Ｐ３’の所定の範囲内の画素を、順次、注目画素とし、各注目画素における動き評価値Ｍ（ｘ，ｙ）を、以下の式（１１）により求める。
【０１５８】
【数４】
2011216967.tif 000006
【０１５９】
なお、式（１１）において、注目画素の座標を（ｘ，ｙ）とし、注目ブロックの基準画素（左上隅）の座標を（ｘｂ，ｙｂ）とする。
【０１６０】
すなわち、動き評価値Ｍは、注目画素を基準画素とする比較対象ブロックと注目ブロックとの対応する位置にある画素の画素値の差分をとり、その差分値の絶対値を合計した値であり、動き評価値Ｍが小さいほど、比較対象ブロック内の画像は、より注目ブロック内の画像に近いと言える。
【０１６１】
ステップＳ１６３において、画素精度動きベクトル検出部２０２は、画素精度の動きベクトルを検出する。具体的には、画素精度動きベクトル検出部２０２は、動き評価値Ｍが最小となる最小評価値画素を検出する。画素精度動きベクトル検出部２０２は、最小評価値画素の座標と注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックの画素精度の動きベクトルとして検出する。画素精度動きベクトル検出部２０２は、検出した画素精度の動きベクトルを示す情報をタップ抽出部２０３およびタップ抽出部２０４に供給する。
【０１６２】
ステップＳ１６４において、タップ抽出部２０３は、予測タップを抽出する。具体的には、タップ抽出部２０３は、最小評価値画素を含む最小評価値画素の近傍の画像Ｐ３’の画素に対応する動き評価値Ｍを予測タップとして抽出する。
【０１６３】
図２６は、画像Ｐ３’の一部を示す図である。なお、図２６において、最小評価値画素を画素P0とし、画素P0乃至P24に対応する動き評価値を動き評価値M0乃至M24とする。例えば、タップ抽出部２０３は、最小評価値画素である画素P0、画素P0の外周に隣接する画素P1乃至P8、および、画素P1乃至P8の外周に隣接する画素P9乃至P24に対応する動き評価値M0乃至M24を、予測タップとして抽出する。タップ抽出部２０３は、抽出した予測タップを予測演算部２０８に供給する。
【０１６４】
ステップＳ１６５において、タップ抽出部２０４は、クラスタップを抽出する。例えば、タップ抽出部２０４は、図２６に示される例において、最小評価値画素である画素P0および画素P0に隣接する画素P1乃至P8に対応する動き評価値M0乃至M8を、クラスタップとして抽出する。タップ抽出部２０４は、抽出したクラスタップをADRC処理部２０５に供給する。
【０１６５】
ステップＳ１６６において、ADRC処理部２０５は、ADRC処理を行う。具体的には、ADRC処理部２０５は、クラスタップを構成する画素の動き評価値ＭをADRC処理し、その結果得られるADRCコードを示す情報をクラス分類部２０６に供給する。
【０１６６】
ステップＳ１６７において、クラス分類部２０６は、クラス分類を行う。具体的には、クラス分類部２０６は、ADRC処理部２０５からのADRCコードに基づき、最小評価値画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ２０７に供給する。
【０１６７】
ステップＳ１６８において、係数メモリ２０７は、タップ係数を供給する。具体的には、係数メモリ２０７は、内部に記憶しているタップ係数のセットのうち、最小評価値画素のクラスコードに対応するタップ係数を取得する。係数メモリ２０７は、取得したタップ係数を予測演算部２０８に供給する。
【０１６８】
ステップＳ１６９において、予測演算部２０８は、予測演算を行う。具体的には、例えば、図２６に示される例において、画素P0と画素P1乃至P8とを結ぶ直線上の位置であって、ちょうど中間の位置P1'乃至P8'を予測位置とした場合、予測演算部２０８は、以下の式（１２）に基づいて、位置P1'乃至P8'における動き評価値M1'乃至M8'を算出する。
【０１６９】
【数５】
2011216967.tif 000007
ただし、m＝1乃至8である。
【０１７０】
なお、wmn（n＝0乃至24）は、位置Pm'（m＝1乃至8）の動き評価値Mm'（ｍ＝1乃至8）を算出するために用いるタップ係数である。
【０１７１】
予測演算部２０８は、各予測位置における動き評価値Mm'を、画素以下精度動きベクトル検出部２０９に供給する。
【０１７２】
ステップＳ１７０において、画素以下精度動きベクトル検出部２０９は、画素以下精度の動きベクトルを検出する。具体的には、例えば、図２６に示される例の場合、画素以下精度動きベクトル検出部２０９は、画素P0および位置P1'乃至P8'の動き評価値のうち、最小となるものを検出する。画素以下精度動きベクトル検出部２０９は、動き評価値が最小の画素または位置の座標と、注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックに対する画素以下精度の動きベクトルＶとして検出する。すなわち、図２６の例においては、画素の間隔の２分の１の精度で動きベクトルが検出される。
【０１７３】
なお、画素間に設定する予測位置の数を増やすことにより、より高い精度で、すなわち、より小さい単位で動きベクトルを検出することが可能となる。
【０１７４】
画素以下精度動きベクトル検出部２０９は、検出した動きベクトルＶを示す情報をMCブロック差分検出部１３２、巡回係数設定部１３３、および、動き補償部１３４に供給する。
【０１７５】
ステップＳ１７１において、動き評価値検出部２０１は、動きベクトルを全て検出したかを判定する。まだ動きベクトルを検出していないブロックが残っている場合、動き評価値検出部２０１は、動きベクトルをまだ全て検出していないと判定し、処理はステップＳ１６２に戻る。その後、ステップＳ１７１において、動きベクトルを全て検出したと判定されるまで、ステップＳ１６２乃至Ｓ１７１の処理が繰り返し実行される。
【０１７６】
ステップＳ１７１において、動きベクトルが全て検出されたと判定された場合、処理はステップＳ１７２に進む。
【０１７７】
ステップＳ１７２において、動き評価値検出部２０１は、動きベクトルの検出に用いた画像を供給し、画素以下精度動きベクトル検出処理は終了する。具体的には、動き評価値検出部２０１は、動きベクトルの検出に用いた画像Ｉ１および画像Ｐ３’をMCブロック差分検出部１３２に供給する。
【０１７８】
次に、係数メモリ２０７に記憶されるタップ係数の学習について説明する。
【０１７９】
まず、より一般化した例に基づいて、クラス分類適応処理におけるタップ係数の学習について説明する。具体的には、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙを、ＳＤ画像を構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式による線形結合によって求める線形１次結合モデルの例に基づいて、タップ係数の学習について説明する。
【０１８０】
【数６】
2011216967.tif 000008
【０１８１】
但し、式（１３）において、ｘnは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素の画素値を表し、ｗnは、ｎ番目のＳＤ画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１３）では、予測タップが、Ｎ個のＳＤ画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１８２】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙkと表すとともに、式（１３）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１８３】
【数７】
2011216967.tif 000009
【０１８４】
式（１４）の予測値ｙk’は、式（１３）にしたがって求められるため、式（１４）のｙk’を、式（１３）にしたがって置き換えると、次式が得られる。
【０１８５】
【数８】
2011216967.tif 000010
【０１８６】
但し、式（１５）において、ｘn,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【０１８７】
式（１５）の予測誤差ｅkを０とするタップ係数ｗnが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１８８】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１８９】
【数９】
2011216967.tif 000011
【０１９０】
但し、式（１６）において、Ｋは、ＨＤ画素ｙkと、そのＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す。
【０１９１】
式（１６）の自乗誤差の総和Ｅを極小にするタップ係数ｗnは、その総和Ｅをタップ係数ｗnで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【０１９２】
【数１０】
2011216967.tif 000012
【０１９３】
そこで、上述の式（１７）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１９４】
【数１１】
2011216967.tif 000013
【０１９５】
式（１７）と式（１８）から、次式が得られる。
【０１９６】
【数１２】
2011216967.tif 000014
【０１９７】
式（１９）のｅkに、式（１５）を代入することにより、式（１９）は、式（２０）に示す正規方程式で表すことができる。
【０１９８】
【数１３】
2011216967.tif 000015
【０１９９】
式（２０）の正規方程式は、ＨＤ画素ｙkとＳＤ画素ｘn,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗnの数と同じ数だけたてることができ、従って、式（２０）を解くことで、最適なタップ係数ｗnを求めることができる。なお、式（２０）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。但し、式（２０）を解くには、式（２０）において、タップ係数ｗnにかかる左辺の行列が正則である必要がある。
【０２００】
以上のように、多数のＨＤ画素ｙ1，ｙ2，・・・，ｙKを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kを、タップ係数の学習の生徒となる生徒データとして、式（２０）を解くことにより、最適なタップ係数ｗnを求めることができる。
【０２０１】
ここで、教師データｙとして、予測位置にも画素が存在する、画像Ｐ３’より画素密度が高い画像の各画素について検出した動き評価値Ｍからなる画像（以下、教師画像と称する）を採用し、生徒データｘとして、画像Ｐ３’と同じ画素密度となるように、教師画像から画素を間引いた画像を採用することにより、式（１２）で用いられるタップ係数を求めることができる。
【０２０２】
なお、クラス分類適応処理を用いた画素以下精度の動きベクトルを検出する方法については、例えば、本件出願人が先に出願した特開平９−１８７０１３号公報などに、その詳細が開示されている。
【０２０３】
以上のようにして、IP変換およびスケーリング処理を行う際の画質の低減を抑制することができる。
【０２０４】
また、例えば、巡回型IP変換スケーリング部１１１からは、垂直折り返し歪みやノイズが取り除かれた画像が出力されるため、後段の画像処理装置において、より良好な画質を得ることができる。例えば、本件出願人が先に出願した特開２００２−２１８４１３号公報に記載されている、クラス分類適応処理を用いて画質を複数の軸で自由に調整する処理において、より強く解像度を上げるように調整することが可能となり、より良好な画質を得ることができる。
【０２０５】
＜２．第２の実施の形態＞
［巡回型IP変換スケーリング部の構成］
なお、以上の説明では、画像Ｉ１の動きベクトルＶを検出する対象となる画像を１フレーム前の出力画像である画像Ｐ３’とする例について説明したが、例えば、画像Ｐ３’の代わりに、１フィールド前の入力画像である画像Ｉ２を用いるようにしてもよい。
【０２０６】
図２７は、画像Ｉ１の動きベクトルＶを検出する対象となる画像として、１フィールド前の入力画像である画像Ｉ２を用いる場合の巡回型IP変換スケーリング部１１１の主な構成例を示すブロック図である。
【０２０７】
この場合の巡回型IP変換スケーリング部１１１は、基本的に図４の場合と同様の構成を有するが、図４の巡回型変換部１２２の代わりに巡回型変換部３２２を有する。
【０２０８】
巡回型変換部３２２は、基本的に図４の巡回型変換部１２２と同様の構成を有するが、スケーリング部１３７の代わりに、フレームメモリ３４１を有する。また、巡回型変換部３２２は、動きベクトル検出部１３１の代わりに動きベクトル検出部３３１を有し、MCブロック差分検出部１３２の代わりにMCブロック差分検出部３３２を有する。
【０２０９】
フレームメモリ３４１は、外部から入力された画像Ｉ１を記憶し、１フィールド分遅延させて、動きベクトル検出部３３１に供給する。すなわち、巡回型変換部３２２に入力されてから１フィールド分遅延された画像Ｉ１である画像Ｉ２が動きベクトル検出部３３１に供給される。
【０２１０】
動きベクトル検出部３３１は、画像Ｉ１の画像Ｉ２に対する動きベクトルＶを、上述した動きベクトル検出部１３１と同様の方法により検出する。動きベクトル検出部３３１は、検出した動きベクトルＶを、MCブロック差分検出部３３２、巡回係数設定部１３３、および、動き補償部１３４に供給する。また、動きベクトル検出部３３１は、動きベクトルＶの検出に用いた画像Ｉ１および画像Ｉ２をMCブロック差分検出部３３２に供給する。
【０２１１】
MCブロック差分検出部３３２は、画像Ｉ１のブロックごとに、各ブロックの画素値と、そのブロックに対応する画像Ｉ２のブロック、すなわち、画像Ｉ１の各ブロックを動きベクトルＶで示される方向および距離だけ移動させた位置にある画像Ｉ２のブロックの画素値との差分値であるMCブロック差分値を検出する。MCブロック差分検出部３３２は、検出したMCブロック差分値ＢＤを示す情報を巡回係数設定部１３３に供給する。
【０２１２】
＜３．第３の実施の形態＞
［巡回型IP変換スケーリング部の構成］
また、例えば、画像Ｐ３’の代わりに、２フィールド前の入力画像である画像Ｉ３を用いるようにしてもよい。
【０２１３】
図２８は、画像Ｉ１の動きベクトルＶを検出する対象となる画像として、２フィールド前の入力画像である画像Ｉ３を用いる場合の巡回型IP変換スケーリング部１１１の主な構成例を示すブロック図である。
【０２１４】
この場合の巡回型IP変換スケーリング部１１１も、基本的に図４の場合と同様の構成を有するが、図４の巡回型変換部１２２の代わりに巡回型変換部４２２を有する。
【０２１５】
巡回型変換部４２２は、基本的に図４の巡回型変換部１２２と同様の構成を有するが、スケーリング部１３７の代わりに、フレームメモリ３４１およびフレームメモリ４４１を有する。また、巡回型変換部４２２は、動きベクトル検出部１３１の代わりに動きベクトル検出部４３１を有し、MCブロック差分検出部１３２の代わりにMCブロック差分検出部４３２を有する。
【０２１６】
フレームメモリ３４１は、外部から入力された画像Ｉ１を記憶し、１フィールド分遅延させて、フレームメモリ４４１に供給する。すなわち、巡回型IP変換スケーリング部１１１に入力されてから１フィールド分遅延された画像Ｉ１である画像Ｉ２がフレームメモリ４４１に供給される。
【０２１７】
フレームメモリ４４１は、画像Ｉ２を記憶し、１フィールド分遅延させて、動きベクトル検出部４３１に供給する。すなわち、巡回型IP変換スケーリング部１１１に入力されてから２フィールド分遅延された画像Ｉ１である画像Ｉ３が動きベクトル検出部４３１に供給される。
【０２１８】
動きベクトル検出部４３１は、画像Ｉ１の画像Ｉ３に対する動きベクトルＶを、上述した動きベクトル検出部１３１と同様の方法により検出する。なお、検出した動きベクトルＶは、画像Ｉ１が入力されるフィールド間隔および画像Ｐ２が出力されるフレーム間隔の２倍の間隔、すなわち、２フィールドの間における動きベクトルであるため、動きベクトル検出部４３１は、整合性をとるために、検出した動きベクトルの大きさを半分にしたベクトルを示す情報を、MCブロック差分検出部４３２、巡回係数設定部１３３、および、動き補償部１３４に供給する。また、動きベクトル検出部４３１は、動きベクトルＶの検出に用いた画像Ｉ１および画像Ｉ３をMCブロック差分検出部４３２に供給する。
【０２１９】
MCブロック差分検出部４３２は、画像Ｉ１のブロックごとに、各ブロックの画素値と、各ブロックに対応する画像Ｉ３のブロック、すなわち、画像Ｉ１の各ブロックを動きベクトルＶの２分の１のベクトルで示される方向および距離だけ移動させた位置にある画像Ｉ３のブロックの画素値との差分値であるMCブロック差分値を検出する。MCブロック差分検出部４３２は、検出したMCブロック差分値ＢＤを示す情報を巡回係数設定部１３３に供給する。
【０２２０】
また、画素以下精度の動きベクトルの検出方法は、上述した方法に限定されるものではなく、他の方法を用いるようにしてもよい。
【０２２１】
さらに、以上の説明では、ＳＤ画像に対してIP変換処理とスケーリング処理を行う例について説明したが、もちろん、本発明は、ＨＤ画像など高解像度の画像に対してIP変換処理とスケーリング処理を行う場合にも適用することが可能である。
【０２２２】
＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２９に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０２２３】
図２８において、パーソナルコンピュータ５００のCPU５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２２４】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０２２５】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２２６】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０２２７】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２２８】
この記録媒体は、例えば、図２９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０２２９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３０】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３１】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２３２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３３】
なお、本発明は、例えば、テレビジョン受像機など、インターレース画像をプログレッシブ画像に変換する画像処理装置に適用することができる。
【符号の説明】
【０２３４】
１００  画像変換装置，  １１１  巡回型IP変換スケーリング部，  １２１  IP変換スケーリング部，  １２２  巡回型変換部，  １３１  動きベクトル検出部，  １３２  MCブロック差分検出部，  １３３  巡回係数設定部，  １３４  動き補償部，  １３５  積和演算部，  １３６  フレームメモリ，  １３７  スケーリング部，  ２５１  基本巡回係数設定部，  ２５２  動き分散検出部，  ２５３  巡回係数算出部，  ２６１  動き分散差し引き量算出部，  ２６２  MCブロック差分差し引き量算出部，  ２６３  演算部，  ２６４  演算部，  ３３１  動きベクトル検出部，  ３３２  MCブロック差分検出部，  ３４１  フレームメモリ，  ４３１  動きベクトル検出部，  ４３２  MCブロック差分検出部，  ４４１  フレームメモリ
【図１】
2011216967.tif 000016
【図２】
2011216967.tif 000017
【図３】
2011216967.tif 000018
【図４】
2011216967.tif 000019
【図５】
2011216967.tif 000020
【図６】
2011216967.tif 000021
【図７】
2011216967.tif 000022
【図８】
2011216967.tif 000023
【図９】
2011216967.tif 000024
【図１０】
2011216967.tif 000025
【図１１】
2011216967.tif 000026
【図１２】
2011216967.tif 000027
【図１３】
2011216967.tif 000028
【図１４】
2011216967.tif 000029
【図１５】
2011216967.tif 000030
【図１６】
2011216967.tif 000031
【図１７】
2011216967.tif 000032
【図１８】
2011216967.tif 000033
【図１９】
2011216967.tif 000034
【図２０】
2011216967.tif 000035
【図２１】
2011216967.tif 000036
【図２２】
2011216967.tif 000037
【図２３】
2011216967.tif 000038
【図２４】
2011216967.tif 000039
【図２５】
2011216967.tif 000040
【図２６】
2011216967.tif 000041
【図２７】
2011216967.tif 000042
【図２８】
2011216967.tif 000043
【図２９】
2011216967.tif 000044