(57)【要約】【課題】常に適切な信号変換処理を行うことができるようにする。【解決手段】相関検出部１１２は、注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックを検出する。タップ生成部１１３は、動き判定部１１１の判定結果と、相関検出部１１２の検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成し、領域抽出部１２１と領域抽出部１２６を制御する。クラス分類適応処理部１１４は、動き判定部１１１から供給される情報、およびタップ生成部１１３の制御に基づいて、クラスタップと予測タップを抽出して予測演算を行い、ＨＤ信号を生成して出力する。【選択図】図８
2007235312.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像信号を、第２の画像信号に変換する画像信号処理装置であって、
前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、
前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、
前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定手段により特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するクラス分類適応処理手段と
を備える画像信号処理装置。
【請求項２】
前記相関検出手段は、
前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、
前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段と
を備える請求項１に記載の画像信号処理装置。
【請求項３】
前記ブロックマッチング手段は、
第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、
第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、
前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択する
請求項２に記載の画像信号処理装置。
【請求項４】
前記特定手段は、
前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成する
請求項３に記載の画像信号処理装置。
【請求項５】
前記特定手段は、
前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成する
請求項４に記載の画像信号処理装置。
【請求項６】
前記第１の画像信号に対応する画像の動きを判定する動き判定手段をさらに備え、
前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する
請求項１に記載の画像信号処理装置。
【請求項７】
第１の画像信号を、第２の画像信号に変換する画像信号処理装置の画像信号処理方法であって、
前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するステップ
を含む画像信号処理方法。
【請求項８】
第１の画像信号を、第２の画像信号に変換する画像信号処理装置に画像信号処理を実行させるプログラムであって、
前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置の特定を制御し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理の実行を制御するステップ
を含むコンピュータが読み取り可能なプログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１０】
第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置であって、
前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、
前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、
前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するクラス分類適応処理手段と
を備える学習装置。
【請求項１１】
前記相関検出手段は、
前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、
前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段と
を備える請求項１０に記載の画像信号処理装置。
【請求項１２】
前記ブロックマッチング手段は、
第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、
第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、
前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択する
請求項１１に記載の画像信号処理装置。
【請求項１３】
前記特定手段は、
前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成する
請求項１２に記載の画像信号処理装置。
【請求項１４】
前記特定手段は、
前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成する
請求項１３に記載の画像信号処理装置。
【請求項１５】
前記第１の画像信号に対応する画像の動きを判定する動き判定手段をさらに備え、
前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する
請求項１０に記載の画像信号処理装置。
【請求項１６】
第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置の学習方法であって、
前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行する
ステップを含む学習方法。
【請求項１７】
第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置に学習処理を実行させるプログラムであって、
前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、
前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、
前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理の実行を制御する
ステップを含むコンピュータが読み取り可能なプログラム。
【請求項１８】
請求項１７のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関し、特に、常に適切な信号変換処理を行うことができるようにする画像信号処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
例えば、標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換するために、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（Adaptive Dynamic Range Coding：適応的ダイナミックレンジ符号化）等を用いて求め、それを基にクラス分類を行い、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得るクラス分類適応処理を用いた方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、上述したクラス分類適応処理においてＳＤ信号をＨＤ信号に変換する処理のフィールド内補間およびフィールド間補間を用いるときの、飛び越し走査から順次走査への変換による画質の改善度が不充分になるという問題を解決し、出力信号に劣化を生じることなく、良好な補間画質を得ることができるようにする技術も提案されている（例えば、特許文献２参照）。
【０００４】
図１は、従来のクラス分類適応処理の実行を制御する画像信号処理装置１の構成例を示すブロック図である。同図において、動き判定部１１は、入力された画像の信号（ＳＤ信号）に基づいて動きベクトルを抽出することなどにより、画像の動きを判定する。
【０００５】
領域抽出部１２は、動き判定部１１の判定結果に基づいて、ＳＤ信号を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるＳＤ信号を構成する画素の幾つかを、クラスタップとして抽出する。
【０００６】
パターン検出部１３は、入力されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部１４に出力する。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスを特定するためのパターンが検出される。
【０００７】
クラスコード決定部１４は、動き判定部１１の判定結果と、パターン検出部１３で検出されたパターンに基づいてクラス分類を行ってクラスを決定し、そのクラスに対応するクラスコードを予測係数メモリ１５に出力する。
【０００８】
予測係数メモリ１５には、後述する学習によって求められたクラス毎の予測係数が予め記憶されている。予測係数メモリ１５は、例えば、その記憶した予測係数のうちの、クラスコード決定部１４から供給されるクラスコードに対応するアドレスに記憶されている入力されたクラスコードに対応する予測係数を、予測演算部１７に出力する。
【０００９】
領域抽出部１６は、動き判定部１１の判定結果に基づいて、入力されたＳＤ信号からＨＤ信号を予測生成するために必要な画素（予測タップ）を抽出し、予測演算部１７に出力する。例えば、予測するＨＤ信号を構成する画素を、順次、注目画素とし、その注目画素の画素値を予測するのに用いるＳＤ信号を構成する画素（の画素値）が、予測タップとして抽出される。
【００１０】
予測演算部１７は、領域抽出部１６から入力された予測タップと、予測係数メモリ１５から入力された予測係数とを用いて、例えば線形一次結合式を用いて予測演算を行い、ＨＤ信号を生成して出力する。
【００１１】
図２は、従来のクラス分類適応処理によりＳＤ信号をＨＤ信号に変換する信号変換処理の例を説明するフローチャートである。
【００１２】
最初にステップＳ１において、注目画素が選択される。
【００１３】
ステップＳ２において、領域抽出部１２は、ＳＤ信号からクラスタップを抽出する。
【００１４】
図３は、このとき抽出されるクラスタップの例を示す図である。ここでは、変換の対象となる画像信号がインターレース方式の画像信号であるものとする。同図には、インターレース方式の１フレームを構成する＃−１で示されるフィールドと、＃０で示されるフィールドとが示されており、図中「×」で示される位置が注目画素の位置とされている。いまの場合、注目画素は、＃０のフィールドに存在しており、＃−１のフィールドから図中丸印で示される２つの画素と、＃０のフィールドから７つの画素がクラスタップとして抽出されている。
【００１５】
なお、図中の４つの黒い菱形は、この処理により、ＳＤ信号の注目画素に対応して生成されるＨＤ信号の画素の位置を示している。
【００１６】
ステップＳ３において、パターン検出部１３は、ステップＳ２の処理で抽出されたクラスタップに基づいて、ＳＤ信号のパターンを検出する。
【００１７】
ステップＳ４において、クラスコード決定部１４は、ステップＳ３の処理で検出されたパターンに基づいてクラスコードを決定する。
【００１８】
ステップＳ５において、領域抽出部１６は、ＳＤ信号から予測タップを抽出する。
【００１９】
図４は、このとき抽出される予測タップの例を示す図である。同図には、図３の場合と同様に、インターレース方式の１フレームを構成する＃−１で示されるフィールドと、＃０で示されるフィールドとが示されており、＃−１のフィールドから６つの画素と、＃０のフィールドから７つの画素が予測タップとして抽出されている。
【００２０】
ステップＳ６において、予測係数メモリ１５は、ステップＳ４の処理で決定されたクラスコードに基づいて予測係数を読み出す。
【００２１】
ステップＳ７において、予測演算部１７は、ステップＳ５の処理で抽出された予測タップと、ステップＳ６の処理で読み出された予測係数とに基づいて予測演算を行う。
【００２２】
ステップＳ８において、ステップＳ７の処理により演算された画素値に対応するＨＤ信号が生成される。すなわち、図３または図４示される４つの黒い菱形の位置の画素の画素値が演算されてＨＤ信号が生成されることになる。
【００２３】
ステップＳ９において、ＳＤ信号の全画素に対して予測演算がおこなわれたか否かが判定され、全画素に対して予測演算がおこなわれたと判定されるまで、ステップＳ１乃至Ｓ８の処理が繰り返し実行されることになる。
【００２４】
図５は、インターレース方式のＳＤ信号に対応して生成されるＨＤ信号の画素の位置の関係の例を説明する図である。インターレース方式では、水平方向に一列の画素の走査が奇数番目のフィールドと偶数番目のフィールドで交互に行われるので、ＳＤ信号から抽出される画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかによって、ＳＤ信号の画素位置と、ＨＤ信号の画素位置の関係が異なったものとなる。
【００２５】
例えば、図５ａに示されるように、１つの画素に対して、図中上下方向（ｙ方向）に所定の間隔を設定し、その間隔の長さを１とした場合、１ｓｔフィールドの１つの画素に対応してｙ方向上側1/4の位置と、下側3/4の位置にＨＤ信号の画素が生成され、２ｎｄフィールドの１つの画素に対応してｙ方向上側3/4の位置と、下側1/4の位置にＨＤ信号の画素が生成される。なお、図中の横方向（ｔ方向）は時間軸方向とされている。
【００２６】
このようにして生成されたＨＤ画像の画素は、図５ｂに示されるように、画面の縦方向（y方向）と、横方向（ｘ方向）にそれぞれ配置されることになる。なお、ＳＤ信号の画素に対して生成されるＨＤ信号の画素の水平方向の位置の関係は、ＳＤ信号から抽出される画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかに係らず一定である。
【００２７】
図６は、図１の予測係数メモリ１５に記憶する予測係数を、予め学習によって求める学習装置５１の構成例を示すブロック図である。
【００２８】
同図において、２次元間引きフィルタ６１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成し、動き判定部６２、領域抽出部６３、および領域抽出部６６に出力する。
【００２９】
動き判定部６２は、入力されたＳＤ信号に基づいて動きベクトルを抽出することなどにより、画像の動きを判定する。
【００３０】
領域抽出部６３は、動き判定部６２の判定結果に基づいて、入力されたＳＤ信号から、クラス分類を行うために必要な画素をクラスタップとして抽出し、パターン検出部６４に出力する。
【００３１】
パターン検出部６４は、入力されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部６５に出力する。
【００３２】
クラスコード決定部６５は、動き判定部６２の判定結果、およびパターン検出部６４で検出されたパターンに基づいてクラスを決定し、そのクラスに対応するクラスコードを正規方程式生成部６７に出力する。
【００３３】
領域抽出部６６は、動き判定部６２の判定結果に基づいて、入力されたＳＤ信号からＨＤ信号を予測生成するために必要な画素を予測タップとして抽出し、正規方程式生成部６７に出力する。
【００３４】
正規方程式生成部６７は、入力された教師画像であるＨＤ信号と、領域抽出部６６から入力された生徒画像である予測タップとから、クラスコード決定部６５から供給されるクラスコード毎に正規方程式を生成し、係数決定部６８に出力する。
【００３５】
係数決定部６８は、例えば最小自乗法を用いて正規方程式を解き、各クラスコードに対応する予測係数を演算する。そして、求めた予測係数を予測係数メモリ６９に出力し、記憶させる。この予測係数メモリ６９に記憶された予測係数が、図１の予測係数メモリ１５に書き込まれることになる。
【００３６】
図７は、図６の学習装置５１による学習処理の例を説明するフローチャートである。
【００３７】
ステップＳ３１において、２次元間引きフィルタ６１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成することで生徒画像（ＳＤ信号）を生成する。
【００３８】
ステップＳ３２において、動き判定部６２は、ステップＳ３１の処理で生成された生徒画像のＳＤ信号から動きを判定する。
【００３９】
ステップＳ３３において、領域抽出部６３は、ステップＳ３１の処理で生成された生徒画像のＳＤ信号から、クラスタップを抽出する。
【００４０】
ステップＳ３４において、パターン検出部６４は、ステップＳ３３の処理で抽出されたクラスタップに基づいて、ＳＤ信号のパターンを検出する。
【００４１】
ステップＳ３５において、クラスコード決定部６５は、ステップＳ３４の処理で検出されたパターンに基づいてクラスを決定する。
【００４２】
ステップＳ３６において、領域抽出部６６は、ステップＳ３１の処理で生成された生徒画像のＳＤ信号から予測タップを抽出する。
【００４３】
ステップＳ３７において、正規方程式生成部６７は、入力された教師画像であるＨＤ信号と、ステップＳ３６の処理で抽出された予測タップとから、ステップＳ３５の処理で決定されたクラスに対応する正規方程式を生成する。
【００４４】
ステップＳ３８において、係数決定部６８は、ステップＳ３７の処理で生成された正規方程式を、例えば最小自乗法を用いて解き、予測係数を決定する。
【００４５】
ステップＳ３９において、ステップＳ３８の処理で決定された予測係数が予測係数メモリ６９に記憶される。
【特許文献１】特開平７−７９４１８号公報
【特許文献２】特許第３４８００１５号公報
【発明の開示】
【発明が解決しようとする課題】
【００４６】
しかしながら、従来のクラス分類適応処理による信号変換においては、画像の中に物体のエッジなどが存在し、例えば、画像の中に斜めの線が形成される場合などは、必ずしも適切な処理を行えない場合があった。特に、予測演算に使用する画素範囲を超えて、斜めの線などが存在する場合、予測処理が上手くいかず、空間的な波形の連続性が失われて見える恐れがある。
【００４７】
本発明はこのような状況に鑑みてなされたものであり、常に適切な信号変換処理を行うことができるようにするものである。
【課題を解決するための手段】
【００４８】
本発明の第１の側面は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定手段により特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するクラス分類適応処理手段とを備える画像信号処理装置である。
【００４９】
前記相関検出手段は、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段とを備えるようにすることができる。
【００５０】
前記ブロックマッチング手段は、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。
【００５１】
前記特定手段は、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成するようにすることができる。
【００５２】
前記特定手段は、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成するようにすることができる。
【００５３】
前記第１の画像信号に対応する画像の動きを判定する動き判定手段をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。
【００５４】
本発明の第１の側面は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置の画像信号処理方法であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するステップを含む画像信号処理方法である。
【００５５】
本発明の第１の側面は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置に画像信号処理を実行させるプログラムであって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置の特定を制御し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理の実行を制御するステップを含むコンピュータが読み取り可能なプログラムである。
【００５６】
本発明の第１の側面においては、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置が検出され、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置が特定され、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理が実行される。
【００５７】
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するクラス分類適応処理手段とを備える学習装置である。
【００５８】
前記相関検出手段は、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段とを備えるようにすることができる。
【００５９】
前記ブロックマッチング手段は、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。
【００６０】
前記特定手段は、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線を生成するようにすることができる。
【００６１】
前記特定手段は、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分に基づいて前記直線を生成するようにすることができる。
【００６２】
前記第１の画像信号に対応する画像の動きを判定する動き判定手段をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。
【００６３】
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置の学習方法であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するステップを含む学習方法である。
【００６４】
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置に学習処理を実行させるプログラムであって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置の検出を制御し、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理の実行を制御するステップを含むコンピュータが読み取り可能なプログラムである。
【００６５】
本発明の第２の側面においては、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置が検出され、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線と、注目画素の位置に対応して定まる所定の位置とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置が特定され、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理が実行される。
【発明の効果】
【００６６】
本発明によれば、常に適切な信号変換処理を行うことができる。
【発明を実施するための最良の形態】
【００６７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００６８】
本発明の第１の側面の画像信号処理装置は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段（例えば、図８の相関検出部１１２）と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段（例えば、図８のタップ生成部１１３）と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定手段により特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理を実行するクラス分類適応処理手段（例えば、図８のクラス分類適応処理部１１４）とを備える。
【００６９】
この画像信号処理装置は、前記相関検出手段が、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段（例えば、図９のブロックマッチング部１４１または１４２）と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段（例えば、図９の選択部１４３）とを備えるようにすることができる。
【００７０】
この画像信号処理装置は、前記ブロックマッチング手段が、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部（例えば、図９のブロックマッチング部１４１）と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部（例えば、図９のブロックマッチング部１４２）とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。
【００７１】
この画像信号処理装置は、前記特定手段が、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）を生成するようにすることができる。
【００７２】
この画像信号処理装置は、前記特定手段が、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分（例えば、図１５の垂直生成位相VP）に基づいて前記直線を生成するようにすることができる。
【００７３】
この画像信号処理装置は、前記第１の画像信号に対応する画像の動きを判定する動き判定手段（例えば、図８の動き判定部１１１）をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。
【００７４】
本発明の第１の側面の画像信号処理方法は、第１の画像信号を、第２の画像信号に変換する画像信号処理装置の画像信号処理方法であって、前記第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し（例えば、図１０のステップS５２の処理）、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し（例えば、図１０のステップS５３の処理）、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、予め学習されている前記クラスごとの予測係数を用いて、前記特定された前記第１の画像信号に含まれる画素に対する予測演算を行うことで前記第２の信号の画素を生成する処理（例えば、図１０のステップS５４乃至S６０の処理）を実行するステップを含む。
【００７５】
本発明の第２の側面は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出する相関性検出手段（例えば、図１６の相関検出部１８３）と、前記相関検出手段の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定する特定手段（例えば、図１６のタップ生成部１８４）と、前記特定手段により特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理を実行するクラス分類適応処理手段（例えば、図１６のクラス分類適応処理部１８５）とを備える。
【００７６】
この学習装置は、前記相関検出手段が、前記第１の信号の中の注目画素を中心とする複数の画素で構成される第１の画素ブロックを抽出するとともに、前記注目画素に対して、予め設定された範囲内の値であって、複数の値に対応する距離だけ離れた画素を中心とする複数の画素で構成される第２の画素ブロックを複数抽出し、前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行うブロックマッチング手段（例えば、図９のブロックマッチング部１４１または１４２）と、前記ブロックマッチング手段の処理結果に基づいて、前記第１の画素ブロックと、最も相関性の高い前記第２の画素ブロックの位置を選択する選択手段（例えば、図９の選択部１４３）とを備えるようにすることができる。
【００７７】
この学習装置は、前記ブロックマッチング手段が、第１の画素ブロックの垂直方向上側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う上部ブロックマッチング部（例えば、図９のブロックマッチング部１４１）と、第１の画素ブロックの垂直方向下側に位置する複数の画素ブロックを抽出して前記第１の画素ブロックと、複数の前記第２の画素ブロックのそれぞれとのブロックマッチングを行う下部ブロックマッチング部（例えば、図９のブロックマッチング部１４２）とを有し、前記選択手段は、前記上部ブロックマッチング部と、前記下部ブロックマッチング部のそれぞれの処理結果に基づいて、第１の画素ブロックの垂直方向上側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置と、第１の画素ブロックの垂直方向下側に位置する第２の画素ブロックのうち最も相関性の高い前記第２の画素ブロックの位置とをそれぞれ選択するようにすることができる。
【００７８】
この学習装置は、前記特定手段が、前記注目画素の位置と、前記選択手段により選択された前記第２の画素ブロックの位置に基づいて、前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）を生成するようにすることができる。
【００７９】
この学習装置は、前記特定手段が、前記注目画素の位置、前記選択手段により選択された前記第２の画素ブロックの位置、および前記注目画素と、前記注目画素に基づいて生成される前記第２の画像信号の画素の位置との垂直方向の差分（例えば、図１５の垂直生成位相VP）に基づいて前記直線を生成するようにすることができる。
【００８０】
この学習装置は、前記第１の画像信号に対応する画像の動きを判定する動き判定手段（例えば、図１６の動き判定部１８２）をさらに備え、前記特定手段は、前記動き判定手段の判定結果と、前記相関検出手段の検出結果とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定するようにすることができる。
【００８１】
本発明の第２の側面の学習方法は、第１の画像信号を、第２の画像信号に変換するときに用いられる予測係数を学習する学習装置の学習方法であって、前記第２の画像信号を、画像信号に含まれる画素数を間引くフィルタを介して得られる第１の画像信号に対応する画像の中で、相関性の高い領域の位置を検出し（例えば、図１７のステップS１５３の処理）、前記相関性の検出結果に基づいて定まる前記画像の中で高い相関性が連続する特性を示す直線（例えば、直線L１またはL２）と、注目画素の位置に対応して定まる所定の位置（例えば、図１５の位置P１）とに基づいて、前記第２の画像信号の画素を生成するために必要な前記第１の画像信号に含まれる画素の位置を特定し（例えば、図１７のステップS１５４の処理）、前記特定された前記第１の画像信号に含まれる画素に基づいて、前記第１の画像信号を、その特徴に応じてクラスに分類し、前記クラスごとに生成される、前記第２の画像信号の画素と、前記第１の画像信号の画素との関係を表す方程式を解くことで、前記第１の画像信号の画素に基づいて前記第２の信号の画素を生成するとき用いられる予測係数を求める処理（例えば、図１７のＳ１５５乃至Ｓ１６１）を実行するステップを含む。
【００８２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００８３】
図８は、本発明を適用した画像信号処理装置の一実施形態に係る構成例を示すブロック図である。
【００８４】
同図において画像信号処理装置１０１は、例えば、テレビジョン受像機などに組み込まれ、入力された標準テレビジョン信号を、高解像度のテレビジョン信号に変換して出力する。図中では、画像信号処理装置１０１に入力される標準テレビジョン信号（通常精度の信号）は、SD(Standard Definition)信号と示されており、画像信号処理装置１０１から出力される高解像度（高精度）の信号は、HD(High Definition)信号として示されている。また、ここでは、インターレース方式のSD信号が入力され、プログレッシブ方式のHD信号に変換されて出力されるものとして説明する。
【００８５】
この画像信号処理装置１０１は、動き判定部１１１、相関検出部１１２、タップ生成部１１３、およびクラス分類適応処理部１１４により構成されており、クラス分類適応処理部１１４は、従来のクラス分類適応処理を行う機能ブロック（例えば、処理回路など）を用いて構成されている。
【００８６】
動き判定部１１１は、例えば、注目画素を中心とする所定の数の画素で構成されるブロックについて、第ｎ番目のフレームと、第（ｎ−１）番目のフレームにおける差分絶対値和を演算するなど予め定められた方式で、画像の動きを判定し、その判定結果を表す所定の情報を生成して領域抽出部１２１、クラスコード決定部１２３、および領域抽出部１２６に供給する。
【００８７】
相関検出部１１２は、後述する方式で注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックの位置を検出する。
【００８８】
タップ生成部１１３は、動き判定部１１１の判定結果と、相関検出部１１２の検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成し、領域抽出部１２１と領域抽出部１２６を制御する。
【００８９】
クラス分類適応処理部１１４の領域抽出部１２１は、動き判定部１１１から供給される情報、およびタップ生成部１１３の制御に基づいて、入力されたＳＤ信号を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる画素であって、ＳＤ信号を構成する画素の幾つかを、クラスタップとして抽出し、パターン検出部１２２に出力する。
【００９０】
パターン検出部１２２は、入力されたクラスタップに基づいて、例えばＡＤＲＣ(Adaptive Dynamic Range Coding：適応的ダイナミックレンジ符号化)を用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部１４に出力する。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスを特定するためのパターンが検出される。
【００９１】
クラスコード決定部１２３は、動き判定部の判定結果、パターン検出部１３で検出されたパターン、およびタップ生成部１１３の制御に基づいてクラス分類を行ってクラスを決定し、そのクラスに対応するクラスコードを予測係数メモリ１２４に出力する。
【００９２】
予測係数メモリ１２４には、後述する学習によって求められたクラス毎の予測係数が予め記憶されている。予測係数メモリ１２４は、例えば、その記憶した予測係数のうちの、クラスコード決定部１２３から供給されるクラスコードに対応するアドレスに記憶されている予測係数を、予測演算部１２５に出力する。
【００９３】
領域抽出部１２６は、動き判定部１１１から供給される情報、およびタップ生成部１１３の制御に基づいて、入力されたＳＤ信号からＨＤ信号を予測生成するために必要な画素（予測タップ）を抽出し、予測演算部１２５に出力する。例えば、予測するＨＤ信号を構成する画素を、順次、注目画素とし、その注目画素の画素値を予測するのに用いるＳＤ信号を構成する画素（の画素値）が、予測タップとして抽出される。
【００９４】
予測演算部１２５は、領域抽出部１２６から入力された予測タップと、予測係数メモリ１２４から入力された予測係数とを用いて、例えば線形一次結合式を用いて予測演算を行い、ＨＤ信号を生成して出力する。
【００９５】
図９は、相関検出部１１２の詳細な構成例を示すブロック図である。
【００９６】
同図において、ブロックマッチング部１４１は、ＳＤ信号の中の注目画素を中心とするブロックに対して、例えば、垂直方向に１画素分上側に位置する複数のブロックのそれぞれについて、注目画素を中心とするブロックとのブロックマッチング処理を実行し、ブロックマッチングの結果を選択部１４３に出力する。
【００９７】
ブロックマッチング部１４２は、ＳＤ信号の中の注目画素を中心とするブロックに対して、例えば、垂直方向に１画素分下側に位置する複数のブロックのそれぞれについて、注目画素を中心とするブロックとのブロックマッチング処理を実行し、ブロックマッチングの結果を選択部１４３に出力する。
【００９８】
選択部１４３は、ブロックマッチング部１４１と、ブロックマッチング部１４２のそれぞれから出力されるブロックマッチングの結果に基づいて、注目画素を中心とするブロックと最も相関性の高いブロックの位置を表す情報を生成して出力する。すなわち、選択部１４３は、注目画素を中心とするブロックに対して、例えば、垂直方向に１画素分上側に位置する複数のブロックのいずれか１つのブロックの位置を表す情報と、垂直方向に１画素分下側に位置する複数のブロックのいずれか１つの位置を表す情報とを出力することになる。
【００９９】
次に、図１０のフローチャートを参照して、画像信号処理装置１０１によるSD−HD信号変換処理の例について説明する。
【０１００】
ステップS５１において、動き判定部１１１は、画像の動きを判定し、その判定結果を表す所定の情報を生成して出力する。
【０１０１】
ステップS５２において相関検出部１１２は、図１１を参照して後述する相関検出処理を実行する。これにより、ＳＤ信号の中の注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値が演算され、注目画素を中心とするブロックと最も相関性の高いブロックの位置を表す情報が生成される。
【０１０２】
ステップS５３において、タップ生成部１１３は、ステップS５１の処理による動きの判定結果、およびステップS５２の処理による相関検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成する。
【０１０３】
ステップS５４において、領域抽出部１２１は、ステップS５１の処理による動き判定結果、およびステップS５３の処理により生成された情報に基づいて、入力されたＳＤ信号からクラスタップを抽出する。
【０１０４】
ステップS５５において、パターン検出部１２２は、ステップS５４の処理により抽出されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出する。
【０１０５】
ステップS５６において、クラスコード決定部１２３は、ステップS５５の処理により検出されたパターン、ステップS５１の処理による動き判定結果に基づいてクラス分類を行ってクラスを決定し、そのクラスに対応するクラスコードを決定する。
【０１０６】
ステップS５７において、領域抽出部１２６は、ステップS５３の処理で生成された情報、およびステップS５１の処理による動き判定結果に基づいて、入力されたＳＤ信号から予測タップを抽出する。
【０１０７】
ステップS５８において、予測係数メモリ１２４は、ステップS５６の処理で決定されたクラスコードに対応する予測係数を読み出す。
【０１０８】
ステップS５９において、予測演算部１２５は、ステップS５７の処理で抽出された予測タップと、ステップS５８の処理で読み出された予測係数とを用いて、例えば線形一次結合式を用いて予測演算を行う。これにより、予測すべきHD信号の画素の画素値が演算されることになる。
【０１０９】
ステップＳ６０において、ステップＳ５９の処理により演算された画素値に対応するＨＤ信号が生成される。
【０１１０】
ステップＳ６１において、ＳＤ信号の全画素に対して予測演算が行われたか否かが判定され、全画素に対して予測演算が行われたと判定されるまで、ステップＳ５１乃至Ｓ６１の処理が繰り返し実行されることになる。
【０１１１】
次に、図１１のフローチャートを参照して、図１０のステップS５２の相関検出処理の詳細について説明する。
【０１１２】
ステップS８１において、ブロックマッチング部１４１は、１ライン上側のブロックマッチングを行う。
【０１１３】
このとき、例えば、図１２に示されるようにしてブロックマッチングが行われる。いま、ＳＤ信号の画像の中で注目画素を、画素Ｃとした場合、最初に画素Ｃを中心とする水平方向にＭ個、垂直方向にＮ個の画素で構成されるＭ×Ｎ個の画素のブロック２１１を取得する。
【０１１４】
そして、ブロックマッチングを行うために、画素Ｃより垂直方向に１画素分上に位置する画素を中心とするブロックであって、ブロック２１１と同じサイズ（Ｍ×Ｎ個の画素で構成される）のブロックを、予め設定された範囲から取得する。ここでは、画素Ｃの水平方向の位置から左右両側に距離Ｓだけはなれた位置の画素までの範囲が上述した範囲として設定されているものとする。
【０１１５】
すなわち、画素Ｃの水平方向の座標位置を０とした場合、水平方向の座標位置が−Ｓであり、かつ画素Ｃより垂直方向に１画素分上に位置する画素Ｃａを中心とするＭ×Ｎ個の画素で構成されるブロック２１２が取得され、ブロック２１１とブロック２１２との間でブロックマッチングが行われる。
【０１１６】
同様に、画素Ｃａと垂直方向の位置が同じであり、水平方向に図中右側に１画素移動した画素を中心とするＭ×Ｎ個の画素で構成されるブロックが取得され、ブロック２１１とそのブロックとの間でブロックマッチングが行われる。このように中心となる画素位置を水平方向にずらして、ブロックマッチングを行うブロックが１つずつ取得されてブロックマッチングが行われ、水平方向の座標位置が+Ｓであり、かつ画素Ｃより垂直方向に１画素分上に位置する画素Ｃｂを中心とするＭ×Ｎ個の画素で構成されるブロック２１３とブロック２１１との間でブロックマッチングが完了するまで処理が繰り返される。
【０１１７】
なお、ブロックマッチングは、双方のブロックにおいて対応する個々の画素同士の差分の絶対値の和の演算として実行される。画素Ｃの座標位置を水平方向および垂直方向の座標位置を（Ｉ，Ｊ）とし、ブロック内の各画素値をｄａｔａ（ｉｘ，ｉｙ）で表すと、ブロックマッチング部１４１により演算される差分の絶対値の和ＢＭｕは、次式により表される。
【０１１８】
【数１】
2007235312.tif 000003
【０１１９】
ここで、Ｘは、画素Ｃの水平方向の位置を中心とする距離を表しており、−Ｓから＋Ｓまでの範囲の値となる。このように、Ｘの値を、−Ｓから＋Ｓまでの範囲で１ずつ変えてＢＭｕ（ｘ）の値を演算することにより、合計２Ｓ＋１のブロックマッチング結果が得られることになる。
【０１２０】
ステップS８２において、ブロックマッチング部１４２は、１ライン下側のブロックマッチングを行う。
【０１２１】
このとき、例えば、図１３に示されるようにしてブロックマッチングが行われる。いまの場合、ブロックマッチングを行うために、画素Ｃより垂直方向に１画素分下に位置する画素を中心とするブロックであって、ブロック２１１と同じサイズ（Ｍ×Ｎ個の画素で構成される）ブロックを、予め設定された範囲から取得する。ここでは、画素Ｃの水平方向の位置から左右両側にやはり距離Ｓだけはなれた位置の画素までの範囲が上述した範囲として設定されているものとする。
【０１２２】
すなわち、画素Ｃの水平方向の座標位置を０とした場合、水平方向の座標位置が−Ｓであり、かつ画素Ｃより垂直方向に１画素分下に位置する画素Ｃｃを中心とするＭ×Ｎ個の画素で構成されるブロック２１４が取得され、ブロック２１１とブロック２１４との間でブロックマッチングが行われる。
【０１２３】
同様に、画素Ｃｃと垂直方向の位置が同じであり、水平方向に図中右側に１画素移動した画素を中心とするＭ×Ｎ個の画素で構成されるブロックが取得され、ブロック２１１とそのブロックとの間でブロックマッチングが行われる。このように中心となる画素位置を水平方向にずらして、ブロックマッチングを行うブロックが１つずつ取得されてブロックマッチングが行われ、水平方向の座標位置が+Ｓであり、かつ画素Ｃより垂直方向に１画素分下に位置する画素Ｃｄを中心とするＭ×Ｎ個の画素で構成されるブロック２１５とブロック２１１との間でブロックマッチングが完了するまで処理が繰り返される。
【０１２４】
画素Ｃの座標位置を水平方向および垂直方向の座標位置を（Ｉ，Ｊ）とし、ブロック内の各画素値をｄａｔａ（ｉｘ，ｉｙ）で表すと、ブロックマッチング部１４２により演算される差分の絶対値の和ＢＭｌは、次式により表される。
【０１２５】
【数２】
2007235312.tif 000004
【０１２６】
ここで、Ｘは、画素Ｃの水平方向の位置を中心とする距離を表しており、やはり−Ｓから＋Ｓまでの範囲の値となる。このように、Ｘの値を、−Ｓから＋Ｓまでの範囲で１ずつ変えてＢＭｌ（ｘ）の値を演算することにより、やはり合計２Ｓ＋１のブロックマッチング結果が得られることになる。
【０１２７】
ステップＳ８３において、選択部１４３は、２Ｓ＋１個のＢＭｕ（ｘ）のうち、値が最小となったものを選択し、そのＢＭｕ（ｘ）に対応するブロックを特定するとともに、２Ｓ＋１個のＢＭｌ（ｘ）のうち、値が最小となったものを選択し、そのＢＭｌ（ｘ）に対応するブロックを特定する。
【０１２８】
ステップＳ８４において選択部１４３は、ステップＳ８３の処理で選択された２つのブロックのそれぞれの位置を表す情報を出力する。ここでは、１ライン上のブロックのうち、ブロックマッチングの値（ＢＭｕ（ｘ））が最小となったブロックの位置の情報はＳｕとし、１ライン下のブロックのうち、ブロックマッチングの値（ＢＭｌ（ｘ））が最小となったブロックの位置の情報はＳｌとして出力されるものとする。
【０１２９】
次に、図１４のフローチャートを参照して、図１０のステップＳ５３のタップ生成処理の詳細について説明する。
【０１３０】
ステップＳ１０１において、タップ生成部１１３は、図１１の相関検出処理の処理結果として出力されるＳｕとＳｌを取得する。
【０１３１】
ステップＳ１０２において、タップ生成部１１３は、ステップＳ１０１の処理で取得されたＳｕとＳｌに基づいて、画像の中で高い相関性が連続すると考えられる特性を近似する直線Ｌ１を想定する。
【０１３２】
ステップＳ１０３において、タップ生成部１１３は、直線Ｌ１を垂直生成位相分だけ平行移動させた直線Ｌ２を想定する。
【０１３３】
ステップＳ１０４において、タップ生成部１１３は、予め設定されているクラスタップのうちの１つの画素であるタップ（位置）Ｐ１を選択する。
【０１３４】
ステップＳ１０５において、タップ生成部１１３は、ステップＳ１０４の処理で選択されたタップＰ１を通る直線であって画像の水平軸に平行な直線Ｌ３と、直線Ｌ２の交点Ｐ２を演算する。
【０１３５】
ステップＳ１０６において、タップ生成部１１３は、ステップＳ１０５の処理で演算された点Ｐ２の左右に位置する位置Ｐ３の画素と位置Ｐ４の画素からの距離に基づいて点Ｐ２の位置に対応する画素の画素値を演算する。
【０１３６】
図１５を参照してさらに詳細に説明する。図１５においては、ＳＤ信号の画像に配置される複数の画素が円で示されており、画像の垂直方向がｙ軸、水平方向がｘ軸として表されている。
【０１３７】
いま、クラス分類適応処理を実行するにあたって、ＳＤ信号の中の注目画素（図１２または図１３の画素Ｃに対応する画素）の位置をＰ0とし、図１４のステップＳ１０１の処理で取得されたＳｕが水平方向に＋２（画素位置）を表すものであったとする。この場合、位置Ｐ0の画素を中心とするブロックと、位置Ｐ0から垂直方向上側に１、水平方向右側に２だけ離れた画素を中心とするブロックの相関性が高かったことになるので、当該画素の位置とＰ０を通る直線Ｌ１により画像の中で高い相関性が連続すると考えられる特性が近似されることになる。いまの場合、直線Ｌ１は次式で表される直線となる（ステップＳ１０２）。
【０１３８】
ｙ＝（１／２）ｘ
【０１３９】
ところで、上述したようにＳＤ信号は、インターレース方式の画像信号とされ、ＨＤ信号はプログレッシブ方式の画像信号とされる。インターレース方式では、水平方向に一列の画素の走査が奇数番目のフィールドと偶数番目のフィールドで交互に行われるので、ＳＤ信号の中の注目画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかによって、ＳＤ信号の画素位置と、ＨＤ信号の画素位置の関係が異なったものとなる。
【０１４０】
例えば、ＳＤ信号の注目画素の位置を中心とし、注目画素の上下左右の４つの画素によりＨＤ信号の画像が構成される場合、１つの画素に対して、垂直方向に所定の間隔を設定し、その間隔の長さを１としたとき、第１番目のフィールドの１つの画素に対して垂直方向上側1/4の位置と、垂直方向下側3/4の位置にＨＤ信号の画素が生成され、２ｎｄフィールドの１つの画素に対応して垂直方向上側3/4の位置と、垂直方向下側1/4の位置にＨＤ信号の画素が生成されることになる。ＳＤ信号の１つの画素に対して生成されるＨＤ信号の画素の位置と、そのＳＤ信号の画素の位置との垂直方向の差分を、垂直生成位相と称する。
【０１４１】
なお、ＳＤ信号の画素に対して生成されるＨＤ信号の画素の水平方向の位置の関係は、ＳＤ信号の中の注目画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかに係らず一定である。
【０１４２】
上述したステップＳ１０３の処理では、注目画素が存在するフィールドが奇数番目のフィールドであるか、偶数番目のフィールドであるかにより、垂直生成位相ＶＰが特定され、直線Ｌ１を、垂直生成位相ＶＰだけ垂直方向に移動した直線Ｌ２が求められる。
【０１４３】
いま、図１５に示される位置P0の注目画素に対応して、垂直生成位相ＶＰだけ垂直方向上側に移動した位置PｈにＨＤ信号の画素が生成される場合を考える。同図において、直線Ｌ２は、直線Ｌ１と傾きが同じであり、垂直方向にＶＰだけ移動された直線とされている。すなわち、直線Ｌ２は、次式により表される直線とされている。
【０１４４】
ｙ＝（１／２）ｘ＋ＶＰ
【０１４５】
一方、ステップＳ１０４の処理では、予め設定されているクラスタップまたは予測タップのうちの１つ画素であるタップが選択される。図１５の例では、注目画素の垂直方向上側の位置Ｐ１に存在する画素が１つのタップとして選択されている。
【０１４６】
そして、ステップＳ１０５の処理では、ステップＳ１０４の処理で選択されたタップを通る直線であって画像の水平軸に平行な直線Ｌ３と、直線Ｌ２の交点Ｐ２が求められる。
【０１４７】
このようにして求められた位置Ｐ２に対応する画素が、新たにクラスタップまたは予測タップを構成する画素のうちの１つの画素として特定されることになる。すなわち、上述した相関検出処理の処理結果に基づいて検出される画像の中で高い相関性が連続すると考えられる特性に基づいて、抽出されるタップが適応的に選択されることになる。
【０１４８】
なお、図１５に示されるように、タップ抽出する位置P２に画素がない場合、位置P２の左右両側の位置Ｐ３と位置Ｐ４に位置する２つの画素から線形補間で画素値を生成し取得する（ステップS１０６）。
【０１４９】
ここまで、位置P0の注目画素に対して垂直方向上側に生成されるHD信号の画素に関する処理について説明したが、位置P0の注目画素に対して垂直方向下側に生成されるHD信号の画素に関しても、ステップＳ１０１の処理で取得されたＳｌに基づいて直線Ｌ１が求められる。図１５の場合、Ｓｌに基づいて求められる直線Ｌ１は次式で表される直線とされている。
【０１５０】
ｙ＝ｘ
【０１５１】
そして、ステップＳ１０３乃至Ｓ１０７の処理が上述した場合と同様に実行され、やはり画像の中で高い相関性が連続すると考えられる特性に基づいて、適応的にタップが選択される。
【０１５２】
図１４に戻って、ステップS１０６の処理の後、処理は、ステップS１０７に進み、全てのタップを選択したか否かが判定される。ステップS１０７において、まだ全てのタップを選択していないと判定された場合、処理は、ステップS１０４に戻り、予め設定されているクラスタップまたは予測タップを構成する画素のうち、別の１つの画素がタップとして選択される。
【０１５３】
そして、予め設定されているクラスタップまたは予測タップを構成する個々の画素全てに対して、上述したステップS１０４乃至S１０６の処理が繰り返し実行されることになる。
【０１５４】
なお、ステップＳ５１の処理による動きの判定結果に対応してさらに適応的にタップが選択されるようにしてもよい。例えば、画像に動きがないと判定された場合（静止の場合）、直線Ｌ１またはＬ２の傾きを２倍にするなどしてもよい。
【０１５５】
すなわち、直線Ｌ１またはＬ２の傾きをtiltで表すと、タップ生成処理により新たに特定されたタップの位置（図１５の位置Ｐ２）の垂直方向の座標をｙとし、新たに特定されたタップの位置から、注目画素の位置（図１５の位置Ｐ０）までの水平方向の距離をsiftは、次式により求められ、求められた距離siftに基づいて新たに特定されるタップの位置を決めることができる。
【０１５６】
sift = (tilt×( vp   y )) /2.0
【０１５７】
このようにして、新たにタップの位置が特定されてタップの生成が行われる。
【０１５８】
クラス分類適応処理では、学習によって教師画素値と予測値の誤差が最小になるように予測係数が決定されているので、精度の高い信号変換が可能であるが、固定的にタップを抽出する従来のクラス分類適応処理による信号変換においては、画像の中に物体のエッジなどが存在し、例えば、画像の中に斜めの線が形成される場合などは、必ずしも適切な処理を行えない場合があった。特に、予測演算に使用する画素範囲を超えて、斜めの線などが存在する場合、予測処理が上手くいかず、空間的な波形の連続性が失われて見える恐れがある。
【０１５９】
これに対して、本発明においては、画像の中で高い相関性が連続すると考えられる特性に基づいて、適応的にタップが選択される。その結果、常に適切な信号変換処理を行うことができる。
【０１６０】
なお、ここでは、クラスタップと予測タップが同じ方式で適応的に選択される例について説明したが、クラスタップと予測タップはそれぞれ別の方式で適応的に選択されるようにしてもよい。
【０１６１】
図１６は、図８の予測係数メモリ１２４に記憶する予測係数を、予め学習によって求める学習装置１７１の構成例を示すブロック図である。
【０１６２】
同図において、学習装置１７１は、２次元間引きフィルタ１８１、相関検出部１８３、タップ生成部１８４、およびクラス分類適応処理部１８５により構成されており、クラス分類適応処理部１８５は、従来のクラス分類適応処理を行う機能ブロック（例えば、処理回路など）を用いて構成されている。
【０１６３】
２次元間引きフィルタ１８１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成し、動き判定部１８２、相関検出部１８３、タップ生成部１８４、領域抽出部１９１、および領域抽出部１９４に出力する。
【０１６４】
動き判定部１８２は、入力されたＳＤ信号に基づいて動きベクトルを抽出することなどにより、画像の動きを判定する。
【０１６５】
相関検出部１８３は、図１２と図１３を参照して上述したように注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックを検出する。
【０１６６】
タップ生成部１８４は、相関検出部１８３の検出結果に基づいて、入力されたSD信号から抽出すべきタップを特定するための情報を生成し、領域抽出部１９１と領域抽出部１９４を制御する。
【０１６７】
クラス分類適応処理部１８５の領域抽出部１９１は、動き判定部１８２による判定結果、およびタップ生成部１８４の制御に基づいて、ＳＤ信号から、クラス分類を行うために必要な画素をクラスタップとして抽出し、パターン検出部１９２に出力する。
【０１６８】
パターン検出部１９２は、入力されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出し、その結果をクラスコード決定部１９３に出力する。
【０１６９】
クラスコード決定部１９３は、動き判定部１８２による判定結果、およびタップ生成部１８４の制御に基づいて、パターン検出部１９２で検出されたパターンに基づいてクラスを決定し、そのクラスに対応するクラスコードを正規方程式生成部１９５に出力する。
【０１７０】
領域抽出部１９４は、動き判定部１８２による判定結果、およびタップ生成部１８４の制御に基づいて、ＳＤ信号から、ＨＤ信号を予測生成するために必要な画素を予測タップとして抽出し、正規方程式生成部１９５に出力する。
【０１７１】
正規方程式生成部１９５は、入力された教師画像であるＨＤ信号と、領域抽出部１９４から入力された生徒画像である予測タップとから、クラスコード決定部１９３から供給されるクラスコード毎に正規方程式を生成し、係数決定部１９６に出力する。
【０１７２】
係数決定部１９６は、例えば最小自乗法を用いて正規方程式を解き、各クラスコードに対応する予測係数を演算する。そして、求めた予測係数を予測係数メモリ１９７に出力し、記憶させる。この予測係数メモリ１９７に記憶された予測係数が、図８の予測係数メモリ１２４に書き込まれることになる。
【０１７３】
次に、図１７のフローチャートを参照して、図１６の学習装置１７１による学習処理の例について説明する。
【０１７４】
ステップＳ１５１において、２次元間引きフィルタ１８１は、入力されたＨＤ信号（教師画像）に対して、垂直及び水平方向の画素を各々１／２に間引くフィルタ処理を行ってＳＤ信号を生成することで生徒画像を生成する。
【０１７５】
ステップＳ１５２において、動き判定部１８２は、ステップＳ１５１の処理で生成された生徒画像のＳＤ信号から動きを判定する。
【０１７６】
ステップＳ１５３において、相関検出部１８３は、相関検出処理を実行する。この処理は、図１１を参照して上述した処理と同様なので詳細な説明は省略する。これにより、ステップＳ１５１の処理で生成されたＳＤ信号の注目画素を中心とするブロックと、その周辺の複数のブロックのそれぞれとの間の相関性を表す値を演算し、最も相関性の高いブロックが検出される。
【０１７７】
ステップＳ１５４において、タップ生成部１８４は、タップ生成処理を実行する。この処理は、図１４を参照して上述した処理と同様なので詳細な説明は省略する。これにより、ステップＳ１５３の処理による検出結果に基づいて、ステップＳ１５１の処理で生成されたSD信号から抽出すべきタップを特定するための情報が生成される。
【０１７８】
ステップＳ１５５において、領域抽出部１９１は、ステップＳ１５２の処理による動きの判定結果、およびステップＳ１５４の処理で生成された情報に基づいて、ステップＳ１５１の処理で生成された生徒画像のＳＤ信号から、クラスタップを抽出する。
【０１７９】
ステップＳ１５６において、パターン検出部１９２は、ステップＳ１５５の処理で抽出されたクラスタップに基づいて、例えばＡＤＲＣを用いてＳＤ信号のパターンを検出する。
【０１８０】
ステップＳ１５７において、クラスコード決定部１９３は、ステップＳ１５２の処理による動きの判定結果、ステップＳ１５４の処理で生成された情報、およびステップＳ１５６の処理で検出されたパターンに基づいてクラスを決定する。
【０１８１】
ステップＳ１５８において、領域抽出部１９４は、ステップＳ１５２の処理による動きの判定結果、ステップＳ１５４の処理で生成された情報に基づいて、ステップＳ１５１の処理で生成されたＳＤ信号から予測タップを抽出する。
【０１８２】
ステップＳ１５９において、正規方程式生成部１９５は、入力された教師画像であるＨＤ信号と、ステップＳ１５８の処理で抽出された予測タップとから、クラスコード決定部１９３から供給されるクラスコード毎に正規方程式を生成する。
【０１８３】
ステップＳ１６０において、係数決定部１９６は、例えば最小自乗法を用いてステップＳ１５９の処理で生成された正規方程式を解き、各クラスコードに対応する予測係数を決定する。
【０１８４】
ステップＳ１６１において、ステップＳ１６０の処理で決定された予測係数が予測係数メモリ１９７に記憶される。
【０１８５】
このようにして、学習処理が行われる。本発明においては、相関検出部１８３とタップ生成部１８４により、画像の中で高い相関性が連続すると考えられる特性に基づいて、適応的にタップが選択されるようにしたので、固定的にタップを抽出する従来の学習処理の場合と比較して、より適切な信号変換処理を行うための予測係数を決定して記憶することが可能となる。
【０１８６】
以上においては、入力されたＳＤ信号の画像を、ＨＤ信号の画像に変換する用途で用いられる画像信号処理装置および学習装置の例について説明したが、入力信号の画像より画素数の少ない画像を得る用途においても本発明を適用することが可能である。
【０１８７】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。
【０１８８】
図１８において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８９】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０１９０】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１９１】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１９２】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
【０１９３】
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
【０１９４】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１９５】
【図１】従来のクラス分類適応処理を行う画像信号処理装置の構成例を示すブロック図である。
【図２】図１の画像信号処理装置による信号変換処理を説明するフローチャートである。
【図３】クラスタップの例を説明する図である。
【図４】予測タップの例を説明する図である。
【図５】インターレース方式のＳＤ信号から生成されるＨＤ信号の画素の位置を説明する図である。
【図６】従来の学習装置の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するフローチャートである。
【図８】本発明を適用した画像信号処理装置の一実施形態に係る構成例を示すブロック図である。
【図９】図８の相関検出部の構成例を示すブロック図である。
【図１０】図８の画像信号処理装置によるＳＤ−ＨＤ信号変換処理の例を説明するフローチャートである。
【図１１】相関検出処理の例を説明するフローチャートである。
【図１２】相関検出処理の詳細を説明する図である。
【図１３】相関検出処理の詳細を説明する図である。
【図１４】タップ生成処理を説明するフローチャートである。
【図１５】タップ生成処理の詳細を説明する図である。
【図１６】本発明を適用した学習装置の一実施形態に係る構成例を示すブロック図である。
【図１７】図１６の学習装置による学習処理の例を説明するフローチャートである。
【図１８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９６】
１０１  画像信号処理装置，  １１１  動き判定部，  １１２  相関検出部，  １１３  タップ生成部，  １１４  クラス分類適応処理部，  １２１  領域抽出部，  １２２  パターン検出部，  １２３  クラスコード決定部，  １２４  予測係数メモリ，  １２５  予測演算部，  １２６  領域抽出部，  １７１  学習装置，  １８１  ２次元フィルタ，  １８２  動き判定部，  １８３  相関検出部，  １８４  タップ生成部，  １８５  クラス分類適応処理部，  １９１  領域抽出部，  １９２  パターン検出部，  １９３  クラスコード決定部，  １９４  領域抽出部，  １９５  正規方程式生成部，  １９６  予測係数決定部，  １９７  予測係数メモリ
【図１】
2007235312.tif 000005
【図２】
2007235312.tif 000006
【図３】
2007235312.tif 000007
【図４】
2007235312.tif 000008
【図５】
2007235312.tif 000009
【図６】
2007235312.tif 000010
【図７】
2007235312.tif 000011
【図８】
2007235312.tif 000012
【図９】
2007235312.tif 000013
【図１０】
2007235312.tif 000014
【図１１】
2007235312.tif 000015
【図１２】
2007235312.tif 000016
【図１３】
2007235312.tif 000017
【図１４】
2007235312.tif 000018
【図１５】
2007235312.tif 000019
【図１６】
2007235312.tif 000020
【図１７】
2007235312.tif 000021
【図１８】
2007235312.tif 000022