(57)【要約】【課題】所定のパラメータの値に対応した動きクラスを決定する。【解決手段】入力端子１１に入力される動きクラスタップに基づいて、検出回路１２で空間アクティビティとしての空間勾配ＳＧsumを検出し、検出回路２０でフレーム間差分ＦｒＧを検出する。区間判定回路１３で、ＳＧsumが属する区間を判定する。生成回路１７-1〜１７-3で判定された区間に対応した閾値決定用の値を生成し、閾値算出回路１８-1〜１８-3ではそれを用いて、ＳＧsumに対応した閾値ｔｈ１〜ｔｈ３を発生する。閾値決定用の値は、パラメータｒ，ｚを含む生成式によって生成する。つまり、この生成式の係数データおよびパラメータｒ，ｚの値とを用い、生成式に基づいて、閾値決定用の値を生成する。これにより、パラメータｒ，ｚの値に対応した動きクラスＭＪを決定できる。【選択図】        図７
2004208045.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号の部分画像に関して動きを判定する動き判定装置において、
上記部分画像に関するフレーム間差分を検出する第１の検出手段と、
上記部分画像に関する空間アクティビティを検出する第２の検出手段と、
上記第２の検出手段で検出された空間アクティビティが属する区間を判定する区間判定手段と、
上記区間判定手段で判定された区間に対応した閾値決定用の値を用いて、上記第２の検出手段で検出された空間アクティビティに対応した一個または複数個の閾値を発生する閾値発生手段と、
上記第１の検出手段で検出されたフレーム間差分を上記閾値発生手段で発生された閾値と比較して上記部分画像の動きクラスを決定する手段と、
上記閾値決定用の値を生成する、所定のパラメータを含む生成式の係数データを記憶する第１のメモリ手段と、
上記パラメータの値を入力するパラメータ入力手段と、
上記第１のメモリ手段に記憶されている係数データおよび上記パラメータ入力手段で入力されたパラメータの値を用い、上記生成式に基づいて、上記閾値決定用の値を生成する手段と
を備えることを特徴とする動き判定装置。
【請求項２】
上記区間を規定するための値を生成する、上記所定のパラメータを含む生成式の係数データを記憶する第２のメモリ手段と、
上記第２のメモリ手段に記憶されている係数データおよび上記パラメータ入力手段で入力された上記パラメータの値とを用い、上記生成式に基づいて上記空間アクティビティが属する区間を判定するための値を生成する手段とをさらに備える
ことを特徴とする請求項１に記載の動き判定装置。
【請求項３】
入力画像信号の部分画像に関して動きを判定する動き判定方法において、
上記部分画像に関するフレーム間差分を検出するステップと、
上記部分画像に関する空間アクティビティを検出するステップと、
上記検出された空間アクティビティが属する区間を判定するステップと、
上記判定された区間に対応した閾値決定用の値を用いて、上記検出された空間アクティビティに対応した一個または複数個の閾値を発生するステップと、
上記検出されたフレーム間差分を上記発生された閾値と比較して上記部分画像の動きクラスを決定するステップと、
所定のパラメータの値を取得するステップと、
上記閾値決定用の値を生成する上記パラメータを含む生成式の係数データおよび上記取得されたパラメータの値とを用い、上記生成式に基づいて、上記閾値決定用の値を生成するステップと
を備えることを特徴とする動き判定方法。
【請求項４】
入力画像信号の部分画像に関して動きを判定するために、
上記部分画像に関するフレーム間差分を検出するステップと、
上記部分画像に関する空間アクティビティを検出するステップと、
上記検出された空間アクティビティが属する区間を判定するステップと、
上記判定された区間に対応した閾値決定用の値を用いて、上記検出された空間アクティビティに対応した一個または複数個の閾値を発生するステップと、
上記検出されたフレーム間差分を上記発生された閾値と比較して上記部分画像の動きクラスを決定するステップと、
所定のパラメータの値を取得するステップと、
上記閾値決定用の値を生成する上記パラメータを含む生成式の係数データおよび上記取得されたパラメータの値とを用い、上記生成式に基づいて上記閾値決定用の値を生成するステップと
を備える動き判定方法をコンピュータに実行させるためのプログラム。
【請求項５】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第１のデータ選択手段と、
所定のパラメータの値を入力するパラメータ入力手段と、
上記第１のデータ選択手段で選択された複数の画素データに基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスおよび上記パラメータ入力手段で入力されたパラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記クラス検出手段は、
上記第１のデータ選択手段で選択された複数の画素データに基づいて、フレーム間差分を検出する第１の検出手段と、
上記第１のデータ選択手段で選択された複数の画素データに基づいて、空間アクティビティを検出する第２の検出手段と、
上記第２の検出手段で検出された空間アクティビティが属する区間を判定する区間判定手段と、
上記区間判定手段で判定された区間に対応した閾値決定用の値を用いて、上記第２の検出手段で検出された空間アクティビティに対応した一個または複数個の閾値を発生する閾値発生手段と、
上記第１の検出手段で検出されたフレーム間差分を上記閾値発生手段で発生された閾値と比較して動きクラスを決定する手段と、
上記閾値決定用の値を生成する、上記所定のパラメータを含む生成式の係数データを記憶する第１のメモリ手段と、
上記第１のメモリ手段に記憶されている係数データおよび上記パラメータ入力手段で入力されたパラメータの値とを用い、上記生成式に基づいて、上記閾値決定用の値を生成する手段とを有する
ことを特徴とする画像信号処理装置。
【請求項６】
上記クラス検出手段は、
上記区間を規定するための値を生成する、上記所定のパラメータを含む生成式の係数データを記憶する第２のメモリ手段と、
上記第２のメモリ手段に記憶されている係数データおよび上記パラメータ入力手段で入力された上記パラメータの値とを用い、上記生成式に基づいて上記空間アクティビティが属する区間を判定するための値を生成する手段とをさらに備える
ことを特徴とする請求項５に記載の画像信号処理装置。
【請求項７】
上記画素データ生成手段は、
上記クラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する、上記所定のパラメータを含む生成式における係数データである係数種データを格納するメモリ手段と、
上記第１のメモリ手段に格納されている係数種データと上記パラメータ入力手段で入力されたパラメータの値とを用いて上記生成式によって生成され、上記クラス検出手段で検出されたクラスおよび上記パラメータ入力手段で入力されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第２のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第２のデータ選択手段で選択された上記複数の画素データとを用い、上記推定式に基づいて、上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項５に記載の画像信号処理装置。
【請求項８】
上記画素データ生成手段は、
上記クラス検出手段で検出されるクラスおよび上記パラメータ入力手段で入力されるパラメータの値の組み合わせ毎に予め生成された推定式の係数データを格納するメモリを持ち、上記クラス検出手段で検出されたクラスおよび上記パラメータ入力手段で入力されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第２のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第２のデータ選択手段で選択された上記複数の画素データとを用い、上記推定式に基づいて、上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項５に記載の画像信号処理装置。
【請求項９】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するステップと、
所定のパラメータの値を取得するステップと、
上記選択された複数の画素データに基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するステップと、
上記検出されたクラスおよび上記取得されたパラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成するステップとを備え、
上記クラスを検出するステップは、
上記選択された複数の画素データに基づいて、フレーム間差分を検出するステップと、
上記選択された複数の画素データに基づいて、空間アクティビティを検出するステップと、
上記検出された空間アクティビティが属する区間を判定するステップと、
上記判定された区間に対応した閾値決定用の値を用いて、上記検出された空間アクティビティに対応した一個または複数個の閾値を発生するステップと、
上記検出されたフレーム間差分を上記発生された閾値と比較して動きクラスを決定するステップと、
上記閾値決定用の値を生成する上記パラメータを含む生成式の係数データおよび上記取得されたパラメータの値とを用い、上記生成式に基づいて上記閾値決定用の値を生成するステップとを有する
ことを特徴とする画像信号処理方法。
【請求項１０】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換するために、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するステップと、
所定のパラメータの値を取得するステップと、
上記選択された複数の画素データに基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するステップと、
上記検出されたクラスおよび上記取得されたパラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成するステップとを備え、
上記クラスを検出するステップは、
上記選択された複数の画素データに基づいて、フレーム間差分を検出するステップと、
上記選択された複数の画素データに基づいて、空間アクティビティを検出するステップと、
上記検出された空間アクティビティが属する区間を判定するステップと、
上記判定された区間に対応した閾値決定用の値を用いて、上記検出された空間アクティビティに対応した一個または複数個の閾値を発生するステップと、
上記検出されたフレーム間差分を上記発生された閾値と比較して動きクラスを決定するステップと、
上記閾値決定用の値を生成する上記パラメータを含む生成式の係数データおよび上記取得されたパラメータの値とを用い、上記生成式に基づいて上記閾値決定用の値を生成するステップとを有する
画像信号処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動き判定装置および動き判定方法、それを使用した画像信号処理装置、および各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、部分画像に関する空間アクティビティが属する区間に対応した閾値決定用の値を用いて閾値を発生し、部分画像に関するフレーム間差分をこの閾値と比較して部分画像の動きクラスを決定するものにあって、閾値決定用の値を所定のパラメータを含む生成式によって生成することによって、所定のパラメータの値に対応した動きクラスを決定できるようにした動き判定装置等に係るものである。
【０００３】
また、この発明は、第１の情報信号を第２の情報信号に変換する際に、第２の画像信号における注目位置の画素データを、その画素データが属するクラスおよび所定のパラメータの値に対応して生成するものにあって、第１の画像信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データを選択し、その選択された画素データに基づいてフレーム間差分および空間アクティビティを検出し、所定のパラメータを含む生成式に基づいて空間アクティビティが属する区間に対応した閾値決定用の値を生成し、この閾値決定用の値を用いて空間アクティビティに対応した閾値を発生し、フレーム間差分をこの閾値と比較して動きクラスを決定することによって、所定のパラメータの値に対応した動きクラスを決定でき、第２の画像信号における注目位置の画素データを精度よく生成できるようにした画像信号処理装置等に係るものである。
【０００４】
【従来の技術】
入力画像信号を異なる走査線構造へ変換する画像処理、入力画像信号を圧縮する高能率符号化等の画像処理において、画像の注目部分の動きを判定する動き判定が使用される。従来の動き判定装置では、画像部分（例えば１フレームの画像を細分化したブロック）についてフレーム間差分の絶対値の和を求め、絶対値の和の大小によって、画像部分の動きクラスを決定するようにしていた。
【０００５】
この従来の動き判定では、フレーム間差分のみを用いて動きクラスを決定するものであり、動きクラスの決定を誤るおそれがある。例えば、実際には静止画に近い場合であっても、フィールド内アクティビティが大きいと、フレーム間差分が大きくなり、動きの大きな動きクラスに決定されるおそれがある。また例えば、実際には動画に近い場合であっても、フィールド内アクティビティが小さいと、フレーム間差分が小さくなり、動きの小さなクラスに決定されるおそれがある。
【０００６】
そこで、本出願には、先に、部分画像に関する空間アクティビティが属する区間に対応した閾値決定用の値を用いて閾値を発生し、部分画像に関するフレーム間差分をこの閾値と比較して部分画像の動きクラスを決定することによって、動きクラスの決定の誤りのおそれを軽減した動き判定装置を提案した（特許文献１参照）。
【０００７】
また、本出願人は、先に、第１の情報信号を第２の情報信号に変換する際に、第２の画像信号における注目位置の画素データを、その画素データが属するクラスおよび所定のパラメータの値に対応して生成する画像信号処理装置を提案した（特許文献２）。この場合の所定のパラメータは、例えば解像度、ノイズ除去度を選択するためのものである。
【０００８】
【特許文献１】
特開２０００−５９７４０号公報
【特許文献２】
特開２００２−２１８４１４号公報
【０００９】
【発明が解決しようとする課題】
上述した動き判定装置では、部分画像に関する空間アクティビティが属する区間に対応した閾値決定用の値は固定されている。そのため、この動き判定装置を、上述した画像信号処理装置に適用した場合、パラメータの値が変わって解像度やノイズ除去度が変化した場合であっても、空間アクティビティが属する区間が同じであれば閾値決定用の値は変化しない。したがって、パラメータの値によっては、最適な動きクラスを決定することができず、第２の画像信号における注目位置の画素データを精度よく生成できなくなるおそれがある。
【００１０】
この発明の目的は、所定のパラメータの値に対応した動きクラスを決定し得る動き判定装置等を提供することにある。またこの発明の目的は、所定のパラメータの値に対応した動きクラスを決定でき、第２の画像信号における注目位置の画素データを精度よく生成し得る画像信号処理装置等を提供することにある。
【００１１】
【課題を解決するための手段】
この発明に係る動き判定装置は、入力画像信号の部分画像に関して動きを判定する動き判定装置において、部分画像に関するフレーム間差分を検出する第１の検出手段と、部分画像に関する空間アクティビティを検出する第２の検出手段と、第２の検出手段で検出された空間アクティビティが属する区間を判定する区間判定手段と、この区間判定手段で判定された区間に対応した閾値決定用の値を用いて、第２の検出手段で検出された空間アクティビティに対応した一個または複数個の閾値を発生する閾値発生手段と、第１の検出手段で検出されたフレーム間差分を閾値発生手段で発生された閾値と比較して部分画像の動きクラスを決定する手段と、閾値決定用の値を生成する、所定のパラメータを含む生成式の係数データを記憶する第１のメモリ手段と、パラメータの値を入力するパラメータ入力手段と、第１のメモリ手段に記憶されている係数データおよびパラメータ入力手段で入力されたパラメータの値を用い、生成式に基づいて、閾値決定用の値を生成する手段とを備えるものである。
【００１２】
また、この発明に係る動き判定方法は、入力画像信号の部分画像に関して動きを判定する動き判定方法において、部分画像に関するフレーム間差分を検出するステップと、部分画像に関する空間アクティビティを検出するステップと、検出された空間アクティビティが属する区間を判定するステップと、判定された区間に対応した閾値決定用の値を用いて、検出された空間アクティビティに対応した一個または複数個の閾値を発生するステップと、検出されたフレーム間差分を発生された閾値と比較して部分画像の動きクラスを決定するステップと、所定のパラメータの値を取得するステップと、閾値決定用の値を生成するパラメータを含む生成式の係数データおよび取得されたパラメータの値とを用い、生成式に基づいて、閾値決定用の値を生成するステップとを備えるものである。
【００１３】
また、この発明に係るプログラムは、上述の動き判定方法をコンピュータに実行させるためのものである。
【００１４】
この発明においては、入力画像信号の部分画像に関するフレーム間差分が検出されると共に、その部分画像に関する空間アクティビティが検出される。そして、検出された空間アクティビティに基づいて、この空間アクティビティが属する区間が判定される。そして、判定された区間に対応した閾値決定用の値を用いて、検出された空間アクティビティに対応した一個または複数個の閾値が発生される。
【００１５】
この場合、各閾値は、それぞれ対応する閾値決定用の値を用いて発生される。例えば、閾値決定用の値として区間の両端に対応した閾値が用意され、線形補間によって検出された空間アクティビティに対応した閾値が発生される。そして、検出されたフレーム間差分が発生された閾値と比較されて、部分画像の動きクラスが決定される。
【００１６】
上述の閾値決定用の値は、所定のパラメータを含む生成式によって生成される。つまり、この生成式の係数データおよび入力されたパラメータの値とが用いられ、生成式に基づいて、閾値決定用の値が生成される。これにより、所定のパラメータの値に対応した動きクラスを決定できる。この所定のパラメータは、例えば解像度やノイズ除去度等を選択するためのものである。
【００１７】
なお、さらに、区間を規定するための値を、上述した所定のパラメータを含む生成式に基づいて、生成するようにしてもよい。これにより、所定のパラメータの値に対応した動きクラスを、さらに良好に決定できる。
【００１８】
また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第１のデータ選択手段と、所定のパラメータの値を入力するパラメータ入力手段と、第１のデータ選択手段で選択された複数の画素データに基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されたクラスおよびパラメータ入力手段で入力されたパラメータの値に対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。そして、クラス検出手段は、第１のデータ選択手段で選択された複数の画素データに基づいて、フレーム間差分を検出する第１の検出手段と、第１のデータ選択手段で選択された複数の画素データに基づいて、空間アクティビティを検出する第２の検出手段と、この第２の検出手段で検出された空間アクティビティが属する区間を判定する区間判定手段と、この区間判定手段で判定された区間に対応した閾値決定用の値を用いて、第２の検出手段で検出された空間アクティビティに対応した一個または複数個の閾値を発生する閾値発生手段と、第１の検出手段で検出されたフレーム間差分を閾値発生手段で発生された閾値と比較して動きクラスを決定する手段と、閾値決定用の値を生成する、所定のパラメータを含む生成式の係数データを記憶する第１のメモリ手段と、第１のメモリ手段に記憶されている係数データおよびパラメータ入力手段で入力されたパラメータの値とを用い、生成式に基づいて、閾値決定用の値を生成する手段とを有するものである。
【００１９】
また、この発明に係る画像信号処理方法は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するステップと、所定のパラメータの値を取得するステップと、選択された複数の画素データに基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出するステップと、検出されたクラスおよび取得されたパラメータの値に対応して、第２の画像信号における注目位置の画素データを生成するステップとを備えるものである。そして、クラスを検出するステップは、選択された複数の画素データに基づいて、フレーム間差分を検出するステップと、選択された複数の画素データに基づいて、空間アクティビティを検出するステップと、検出された空間アクティビティが属する区間を判定するステップと、判定された区間に対応した閾値決定用の値を用いて、検出された空間アクティビティに対応した一個または複数個の閾値を発生するステップと、検出されたフレーム間差分を発生された閾値と比較して動きクラスを決定するステップと、閾値決定用の値を生成するパラメータを含む生成式の係数データおよび取得されたパラメータの値とを用い、生成式に基づいて閾値決定用の値を生成するステップとを有するものである。
【００２０】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのプログラムである。
【００２１】
この発明においては、第１の画像信号から第２の画像信号における注目位置の周辺に位置する複数の画素データが選択され、その複数の画素データに基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。
【００２２】
また、所定のパラメータの値が入力される。この所定のパラメータは、例えば解像度やノイズ除去度等を選択するためのものである。この入力されたパラメータの値および検出されたクラスに対応して、第２の画像信号における注目位置の画素データが生成される。
【００２３】
例えば、クラス毎に予め求められた推定式で用いられる係数データを生成するための生成式における係数データである係数種データがメモリ手段に格納されており、この係数種データと入力されたパラメータの値とを用いて、検出されたクラスおよび入力されたパラメータの値に対応した推定式の係数データが発生されると共に、第１の画像信号信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データが選択され、この係数データと複数の画素データとを用い、推定式に基づいて、注目位置の情報データが生成される。
【００２４】
また例えば、クラスおよびパラメータの値の組み合わせ毎に予め生成された推定式の係数データがメモリに格納されており、このメモリより、検出されたクラスおよび入力されたパラメータの値に対応した推定式の係数データが読み出されると共に、第１の画像信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データが選択され、この係数データと複数の画素データとを用い、推定式に基づいて、注目位置の情報データが生成される。
【００２５】
上述したクラスには、少なくとも動きクラスが構成要素として含まれている。この動きクラスは、以下のようにして決定される。
【００２６】
複数の画素データに基づいて、フレーム間差分が検出されると共に、空間アクティビティが検出される。そして、検出された空間アクティビティに基づいて、この空間アクティビティが属する区間が判定され、その判定された区間に対応した閾値決定用の値を用いて、検出された空間アクティビティに対応した一個または複数個の閾値が発生される。
【００２７】
この場合、各閾値は、それぞれ対応する閾値決定用の値を用いて発生される。例えば、閾値決定用の値として区間の両端に対応した閾値が用意され、線形補間によって検出された空間アクティビティに対応した閾値が発生される。そして、検出されたフレーム間差分が発生された閾値と比較されて、動きクラスが決定される。
【００２８】
上述の閾値決定用の値は、上述した所定のパラメータを含む生成式によって生成される。つまり、この生成式の係数データおよび入力されたパラメータの値とが用いられ、生成式に基づいて、閾値決定用の値が生成される。これにより、所定のパラメータの値に対応した動きクラスを決定でき、第２の画像信号における注目位置の画素データを精度よく生成できる。
【００２９】
なお、さらに、区間を規定するための値を、上述した所定のパラメータを含む生成式に基づいて、生成するようにしてもよい。これにより、所定のパラメータの値に対応した動きクラスを、さらに良好に決定できる。
【００３０】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号よりＳＤ（Standard Definition）信号としての５２５ｉ信号を得、この５２５ｉ信号をＨＤ（High Definition）信号としての５２５ｐ信号または１０５０ｉ信号に変換し、その５２５ｐ信号または１０５０ｉ信号による画像を表示するものである。
【００３１】
ここで、５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、５２５ｐ信号は、ライン数が５２５本でプログレッシブ方式（ノンインタレース方式）の画像信号を意味し、さらに１０５０ｉ信号はライン数が１０５０本でインタレース方式の画像信号を意味している。
【００３２】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３３】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って上述したＳＤ信号Ｖａ（５２５ｉ信号）を得るチューナ１０６と、外部よりＳＤ信号Ｖｂ（５２５ｉ信号）を入力する外部入力端子１０７と、これらＳＤ信号Ｖａ，Ｖｂのいずれかを選択的に出力する切換スイッチ１０８と、この切換スイッチ１０８より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００３４】
チューナ１０６より出力されるＳＤ信号Ｖａは切換スイッチ１０８のａ側の固定端子に供給され、外部入力端子１０７より入力されるＳＤ信号Ｖｂは切換スイッチ１０８のｂ側の固定端子に供給される。この切換スイッチ１０８の切り換え動作は、システムコントローラ１０１によって制御される。
【００３５】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１と、このディスプレイ部１１１の画面上に文字図形等の表示を行うための表示信号ＳＣＨを発生させるためのＯＳＤ（On Screen Display）回路１１２と、その表示信号ＳＣＨを、上述した画像信号処理部１１０より出力されるＨＤ信号に合成してディスプレイ部１１１に供給するための合成器１１３とを有している。
【００３６】
ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。また、ＯＳＤ回路１１２における表示信号ＳＣＨの発生動作は、システムコントローラ１０１によって制御される。
【００３７】
図１に示すテレビ受信機１００の動作を説明する。
ユーザのリモコン送信機２００の操作でチューナ１０６より出力されるＳＤ信号Ｖａに対応する画像表示を行うモードが選択される場合、システムコントローラ１０１の制御によって切換スイッチ１０８はａ側に接続されて、この切換スイッチ１０８よりＳＤ信号Ｖａが出力される。一方、ユーザのリモコン送信機２００の操作で外部入力端子１０７に入力されるＳＤ信号Ｖｂに対応する画像表示を行うモードが選択される場合、システムコントローラ１０１の制御によって切換スイッチ１０８はｂ側に接続されて、この切換スイッチ１０８よりＳＤ信号Ｖｂが出力される。
【００３８】
切換スイッチ１０８より出力されるＳＤ信号（５２５ｉ信号）はバッファメモリ１０９に記憶されて一時的に保存される。そして、このバッファメモリ１０９に一時的に保存されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が得られる。ここで、５２５ｐ信号または１０５０ｉ信号の選択は、ユーザのリモコン送信機２００の操作によって行われる。この画像信号処理部１１０より出力されるＨＤ信号が合成器１１３を介してディスプレイ部１１１に供給され、ディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００３９】
また、上述せずも、ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像の解像度およびノイズ除去度を無段階になめらかに調整できる。画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって調整された、解像度を決めるパラメータｒおよびノイズ除去度を決めるパラメータｚに対応したものが、これらパラメータｒ，ｚを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０より出力されるＨＤ信号による画像の解像度およびノイズ除去度は、調整されたパラメータｒ，ｚに対応したものとなる。
【００４０】
図２は、パラメータｒ，ｚを調整するためのユーザインタフェースの一例を示している。調整時には、ディスプレイ部１１１に、パラメータｒ，ｚの調整位置を☆印のアイコン１１５ａで示した調整画面１１５が、ＯＳＤ表示される。また、リモコン送信機２００は、ユーザ操作手段としてのジョイスティック２００ａを備えている。
【００４１】
ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、パラメータｒ，ｚの値を任意に調整できる。図３は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることでノイズ除去度を決定するパラメータｚの値が調整され、一方アイコン１１５ａが上下に動かされることで解像度を決定するパラメータｒの値が調整される。
【００４２】
ユーザは、ディスプレイ部１１１（図２参照）に表示される調整画面１１５を参照してパラメータｒ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｒ，ｚの値を、調整画面１１５上に数値表示してもよい。
【００４３】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００４４】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００４５】
図４は、５２５ｉ信号および５２５ｐ信号の、あるフレーム（Ｆ）の奇数（ｏ）フィールドの画素位置関係を示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。偶数（ｅ）フィールドでは、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図４から分かるように、５２５ｐ信号の画素データとしては、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが存在する。また、５２５ｐ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００４６】
図５は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される１０５０ｉ信号の画素である。図５から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００４７】
図１に戻って、また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００４８】
空間クラス検出回路１２４では、例えば、ＡＤＲＣ（Adaptive Dynamic RangeCoding）を用いる。ＡＤＲＣでは、空間クラスタップのデータの最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータｋｉに対して、（１）式の演算により、再量子化コードＱｉが得られる。ただし、（１）式において、[  ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
Ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）×２P÷ＤＲ］      ・・・（１）
【００４９】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスＭＶを検出し、その動きクラスＭＶを出力する動きクラス検出回路１２５を有している。
【００５０】
本実施の形態において、動きクラスＭＶは２ビットの情報であり、０〜３の値をとる。また、この動きクラス検出回路１２５には、システムコントローラ１０１より、パラメータｒ，ｚの値が供給される。これにより、この動き検出回路１２５からは、パラメータｒ，ｚの値に対応した動きクラスＭＶを得ることができる。この動きクラス検出回路１２５の詳細は後述する。
【００５１】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスＭＶに基づき、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目位置の画素データ（注目画素データ）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００５２】
このクラス合成回路１２６では、（２）式によって、クラスコードＣＬの演算が行われる。なお、（２）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００５３】
【数１】
2004208045.tif 000003
【００５４】
また、画像信号処理部１１０は、レジスタ１３０〜１３３と、係数メモリ１３４とを有している。後述する線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、線順次変換回路１２９の動作を指定する動作指定情報を格納するものである。線順次変換回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【００５５】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数のＳＤ画素に対して番号付けを行い、選択するＳＤ画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００５６】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００５７】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスＭＶによって選択される。
【００５８】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、作成すべき画素と同一フィールド内のＳＤ画素のみとされる。
【００５９】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスＭＶによって選択されるようにしてもよい。
【００６０】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【００６１】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号としての５２５ｉ信号を、ＨＤ信号としての５２５ｐ信号または１０５０ｉ信号に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給される。
【００６２】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。
【００６３】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、線順次変換回路１２９を５２５ｐ信号を出力するように動作させるための第１の動作指定情報と、線順次変換回路１２９を１０５０ｉ信号を出力するように動作させるための第２の動作指定情報とが予め蓄えられている。
【００６４】
ユーザはリモコン送信機２００を操作することで、ＨＤ信号として５２５ｐ信号を出力する第１の変換方法、またはＨＤ信号として１０５０ｉ信号を出力する第２の変換方法を選択できる。情報メモリバンク１３５にはシステムコントローラ１０１よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１の動作指定情報または第２の動作指定情報がロードされる。
【００６５】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【００６６】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。なお、第１および第２のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【００６７】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【００６８】
また、情報メモリバンク１３５には、第１および第２の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。
【００６９】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（３）式の推定式によって、作成すべきＨＤ画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（３）式におけるｎは１０となる。
【００７０】
【数２】
2004208045.tif 000004
【００７１】
そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、（４）式に示すように、パラメータｒ，ｚを含む生成式によって生成される。情報メモリバンク１３５には、この生成式の係数データである係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）が、変換方法毎かつクラス毎に、記憶されている。この係数種データの生成方法については後述する。
【００７２】
【数３】
2004208045.tif 000005
【００７３】
また、画像信号処理部１１０は、各クラスの係数種データおよびパラメータｒ，ｚの値とを用い、（４）式によって、クラス毎に、パラメータｒ，ｚの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６には、情報メモリバンク１３５より、上述した変換方法の選択情報に従って第１の変換方法または第２の変換方法に対応した各クラスの係数種データがロードされる。また、この係数生成回路１３６には、システムコントローラ１０１より、パラメータｒ，ｚの値が供給される。
【００７４】
この係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｒ，ｚの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｒ，ｚの値に対応したものに即座に変更でき、ユーザによる解像度、ノイズ除去度の調整がスムーズに行われる。
【００７５】
また、画像信号処理部１１０は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（５）式によって、演算する正規化係数生成回路１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８を有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給される。
【００７６】
【数４】
2004208045.tif 000006
【００７７】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号における注目位置の画素データを演算する推定予測演算回路１２７を有している。
【００７８】
この推定予測演算回路１２７では、５２５ｐ信号を出力する場合、上述した図４に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とを生成し、また各ラインの画素数を２倍とする必要がある。また、この推定予測演算回路１２７では、１０５０ｉ信号を出力する場合、上述した図５に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とを生成し、また各ラインの画素数を２倍とする必要がある。
【００７９】
したがって、推定予測演算回路１２７では、ＨＤ信号を構成する４画素のデータが同時的に生成される。例えば、４画素のデータはそれぞれ係数データを異にする推定式を使用して同時的に生成されるものであり、係数メモリ１３４からはそれぞれの推定式の係数データが供給される。ここで、推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、上述の（３）式の推定式によって、作成すべきＨＤ画素データｙが演算される。
【００８０】
また、画像信号処理部１１０は、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙを、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算されるＨＤ画素データｙは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【００８１】
また、画像信号処理部１１０は、水平周期を１／２倍とするライン倍速処理を行って、推定予測演算回路１２７より正規化演算回路１２８を介して供給されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を線順次化する線順次変換回路１２９を有している。
【００８２】
図６は、５２５ｐ信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。上述したように、推定予測演算回路１２７によってラインデータＬ１，Ｌ２が生成される。ラインデータＬ１には順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１２９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力ａ０，ｂ０，ａ１，ｂ１，・・・を形成する。
【００８３】
なお、１０５０ｉ信号を出力する場合には、奇数フィールドおよび偶数フィールドでインタレース関係を満たすように、線順次変換回路１２９が線順次出力を発生する。したがって、線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。その動作指定情報は、上述したようにレジスタ１３０より供給される。
【００８４】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【００８５】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【００８６】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【００８７】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラスＭＶ（主に動きの程度を表すためのクラス分類）が得られる。この動きクラス検出回路１２６には、システムコントローラ１０１よりパラメータｒ，ｚの値が供給される。これにより、動き検出回路１２６で得られる動きクラスＭＶは、パラメータｒ，ｚに対応したものとされる。
【００８８】
この動きクラスＭＶおよび上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動きクラスＭＶと再量子化コードＱｉとから、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（２）式参照）。このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【００８９】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｒ，ｚの値および変換方法に対応した、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【００９０】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【００９１】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号における注目位置の画素データ（ＨＤ画素データ）ｙが演算される（（３）式参照）。この場合、ＨＤ信号を構成する４画素のデータが同時的に生成される。
【００９２】
これにより、５２５ｐ信号を出力する第１の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが生成される（図４参照）。また、１０５０ｉ信号を出力する第２の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが生成される（図５参照）。
【００９３】
このように推定予測演算回路１２７で生成されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は正規化演算回路１２８に供給される。正規化係数メモリ１３８に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この正規化係数メモリ１３８からクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが読み出されて推定予測演算回路１２７に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（４）式参照）で推定式（（３）式参照）の係数データを求める際の丸め誤差による注目点の情報データのレベル変動が除去される。
【００９４】
このように正規化演算回路１２８で正規化されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は、線順次変換回路１２９に供給される。そして、この線順次変換回路１２９では、ラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）が線順次化されてＨＤ信号が生成される。この場合、線順次変換回路１２９は、レジスタ１３０より供給される、ユーザによって選択された変換方法に対応した動作指定情報に従った動作をする。そのため、ユーザによって第１の変換方法（５２５ｐ）が選択されているときは、線順次変換回路１２９より５２５ｐ信号が出力される。一方、ユーザによって第２の変換方法（１０５０ｉ）が選択されているときは、線順次変換回路１２９より１０５０ｉ信号が出力される。
【００９５】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｒ，ｚの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１〜ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｒ，ｚの値を調整することで、ＨＤ信号によって得られる画像の解像度およびノイズ除去度を、無段階になめらかに調整することができる。なおこの場合、調整されたパラメータｒ，ｚの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【００９６】
また、動きクラス検出回路１２５に上述したパラメータｒ，ｚの値が供給され、この動き検出回路１２５からはそのパラメータｒ，ｚの値に対応した動きクラスＭＶが得られる。したがって、パラメータｒ，ｚの値に対応した動きクラスのクラス分けが行われることとなり、ＨＤ画素データｙを精度よく生成できる。
【００９７】
次に、動きクラス検出回路１２５の詳細について説明する。この動きクラス検出回路１２５は、動き判定部１０と多数決判定部５０とで構成されている。
まず、動き判定部１０について説明する。図７は、動き判定部１０の構成を示している。
この動き判定部１０は、第３のタップ選択回路１２３（図１参照）で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）が入力される入力端子１１を有している。本実施の形態では、図８に示すように、５０個の画素が動きクラスタップとして選択される。図８は、ｔ−１，ｔ，ｔ＋１と時間方向に連続する３フィールドの画素を示している。図３中のドットは画素を示し、また「×」で示す位置は作成すべきＨＤ信号における注目位置を示している。
【００９８】
ｔ−１フィールドでは、連続する３ラインのそれぞれから５個の画素が選択される。同様に、ｔ＋１フィールドでは、連続する３ラインのそれぞれから５個の画素が選択される。これらｔ−１，ｔ＋１のフィールドのそれぞれで選択される画素の空間的な位置は同一である。また、ｔフィールド（現在フィールド）では、連続する４ラインのそれぞれから５個の画素が選択される。インタレース方式であるため、このｔフィールドの４ラインは、ｔ−１，ｔ＋１のフィールドのラインとは１／２ライン間隔だけずれている。
【００９９】
また、動き判定部１０は、入力端子１１に入力される動きクラスタップのデータ（ＳＤ画素データ）に基づいて、空間勾配ＳＧsumを検出する空間勾配検出回路１２を有している。ここで、空間勾配ＳＧsum は、ｔ−１フィールドの空間勾配ＳＧ（ｔ−１）、ｔフィールドの空間勾配ＳＧｔ、ｔ＋１フィールドの空間勾配ＳＧ（ｔ＋１）の合計値である。この空間勾配は空間アクティビティの一つである。
【０１００】
各フィールドの空間勾配は、それぞれの画素と隣接画素との差分絶対値を求め、それらを合計した値である。例えばｔ−１のフィールドにおいて、左上コーナーの画素の場合では、その真下の画素と右側の画素とが隣接画素であり、自分の画素値と各隣接画素の画素値の差分絶対値が計算される。同様に、他の画素に関しても、垂直方向および水平方向における隣接画素との差分絶対値が計算される。そして、１５個の画素に関する差分絶対値を合計することによって、ｔ−１フィールドの空間勾配ＳＧ（ｔ−１）が求められる。他のフィールドの空間勾配ＳＧｔおよびＳＧ（ｔ＋１）も同様に求められる。
【０１０１】
また、動き判定部１０は、検出回路１２で検出される空間勾配ＳＧsumが属する区間を判定する区間判定回路１３と、その空間勾配ＳＧsumの区間内位置情報ＰＯＳを算出する区間内位置算出回路１４と、区間を規定するための値Ａ0〜Ａ3（Ａ0＜Ａ1＜Ａ2＜Ａ3）を生成する生成回路１５とを有している。
【０１０２】
生成回路１５は、システムコントローラ１０１（図１参照）から供給されるパラメータｒ，ｚの値および係数データＡi1〜Ａi3（ｉ＝０〜３）を用い、（６）式〜（９）式に基づいて、値Ａ0〜Ａ3を生成する。係数データＡi1〜Ａi3（ｉ＝０〜３）は、メモリ１６に予め格納されている。生成回路１５は、このメモリ１６から係数データＡi1〜Ａi3を読み出して用いる。
【０１０３】
Ａ0＝Ａ01＋Ａ02×ｒ＋Ａ03×ｚ      ・・・（６）
Ａ1＝Ａ11＋Ａ12×ｒ＋Ａ13×ｚ      ・・・（７）
Ａ2＝Ａ21＋Ａ22×ｒ＋Ａ23×ｚ      ・・・（８）
Ａ3＝Ａ31＋Ａ32×ｒ＋Ａ33×ｚ      ・・・（９）
【０１０４】
区間判定回路１３は、検出回路１２で検出される空間勾配ＳＧsumを生成回路１５で生成される値Ａ0〜Ａ3と比較することで空間勾配ＳＧsumが属する区間の判定を行って判定信号ＳＡを出力する。例えば、Ａ0≦ＳＧsum＜Ａ1であり、空間勾配ＳＧsumが第１の区間に属するときはＳＡ＝０、Ａ1≦ＳＧsum＜Ａ2であり、空間勾配ＳＧsumが第２の区間に属するときはＳＡ＝１、Ａ2≦ＳＧsum＜Ａ3であり、空間勾配ＳＧsumが第３の区間に属するときはＳＡ＝２、Ａ3≦ＳＧsumであり、空間勾配ＳＧsumが第４の区間に属するときはＳＡ＝３となる。
【０１０５】
区間内位置算出回路１４は、生成回路１５で生成される値Ａ0〜Ａ3、区間判定回路１３より出力される判定信号ＳＡ、および検出回路１２で検出される空間勾配ＳＧsumに基づいて、この空間勾配ＳＧsumの区間内位置情報ＰＯＳを算出する。この区間内位置算出回路１４は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値をＡＬ、上端値をＡＨとして、（１０）式に基づいて、区間内位置情報ＰＯＳを算出する。
ＰＯＳ＝（ＳＧsum−ＡＬ）／（ＡＨ−ＡＬ）    ・・・（１０）
【０１０６】
また、動き判定部１０は、システムコントローラ１０１（図１参照）より供給されるパラメータｒ，ｚの値および区間判定回路１３より出力される判定信号ＳＡに基づいて、閾値決定用の値を生成する生成回路１７-1〜１７-3と、この生成回路１７-1〜１７-3より出力される閾値決定用の値、算出回路１４で算出された区間内位置情報ＰＯＳおよび区間判定回路１３より出力される判定信号ＳＡに基づいて、閾値ｔｈ１〜ｔｈ３（ｔｈ１＞ｔｈ２＞ｔｈ３）を算出する閾値算出回路１８-1〜１８-3とを有している。
【０１０７】
生成回路１７-1は、閾値算出回路１８-1で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。すなわち、空間勾配ＳＧsumが第１の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ10，Ｂ11を生成する。空間勾配ＳＧsumが第２の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ11，Ｂ12を生成する。空間勾配ＳＧsumが第３の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ12，Ｂ13を生成する。空間勾配ＳＧsumが第４の区間に属するときは、下端値に対応した閾値Ｂ13を生成する。
【０１０８】
生成回路１７-1は、パラメータｒ，ｚの値および係数データＢ1i1〜Ｂ1i3（ｉ＝０〜３）を用い、（１１）式〜（１４）式に基づいて、閾値Ｂ10〜Ｂ13を生成する。係数データＢ1i1〜Ｂ1i3（ｉ＝０〜３）は、メモリ１９-1に予め格納されている。生成回路１７-1は、このメモリ１９-1から係数データを読み出して用いる。
【０１０９】
Ｂ10＝Ｂ101＋Ｂ102×ｒ＋Ｂ103×ｚ      ・・・（１１）
Ｂ11＝Ｂ111＋Ｂ112×ｒ＋Ｂ113×ｚ      ・・・（１２）
Ｂ12＝Ｂ121＋Ｂ122×ｒ＋Ｂ123×ｚ      ・・・（１３）
Ｂ13＝Ｂ131＋Ｂ132×ｒ＋Ｂ133×ｚ      ・・・（１４）
【０１１０】
また、閾値算出回路１８-1は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値に対応した閾値をＢＬ、その区間の上端値に対応した閾値をＢＨとして、（１５）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ１を線形補間によって算出し、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ１をその区間の下端値に対応した閾値Ｂ13とする。
ｔｈ１＝（ＢＨ−ＢＬ）×ＰＯＳ＋ＢＬ      ・・・（１５）
【０１１１】
同様に、生成回路１７-2は、閾値算出回路１８-2で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。すなわち、空間勾配ＳＧsumが第１の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ20，Ｂ21を生成する。空間勾配ＳＧsumが第２の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ21，Ｂ22を生成する。空間勾配ＳＧsumが第３の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ22，Ｂ23を生成する。空間勾配ＳＧsumが第４の区間に属するときは、下端値に対応した閾値Ｂ23を生成する。
【０１１２】
生成回路１７-2は、パラメータｒ，ｚの値および係数データＢ2i1〜Ｂ2i3（ｉ＝０〜３）を用い、（１６）式〜（１９）式に基づいて、閾値Ｂ20〜Ｂ23を生成する。係数データＢ2i1〜Ｂ2i3（ｉ＝０〜３）は、メモリ１９-2に予め格納されている。生成回路１７-2は、このメモリ１９-2から係数データを読み出して用いる。
【０１１３】
Ｂ20＝Ｂ201＋Ｂ202×ｒ＋Ｂ203×ｚ      ・・・（１６）
Ｂ21＝Ｂ211＋Ｂ212×ｒ＋Ｂ213×ｚ      ・・・（１７）
Ｂ22＝Ｂ221＋Ｂ222×ｒ＋Ｂ223×ｚ      ・・・（１８）
Ｂ23＝Ｂ231＋Ｂ232×ｒ＋Ｂ233×ｚ      ・・・（１９）
【０１１４】
また、閾値算出回路１８-2は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値に対応した閾値をＢＬ、その区間の上端値に対応した閾値をＢＨとして、（２０）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ２を線形補間によって算出し、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ２をその区間の下端値に対応した閾値Ｂ23とする。
ｔｈ２＝（ＢＨ−ＢＬ）×ＰＯＳ＋ＢＬ      ・・・（２０）
【０１１５】
同様に、生成回路１７-3は、閾値算出回路１８-3で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。すなわち、空間勾配ＳＧsumが第１の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ30，Ｂ31を生成する。空間勾配ＳＧsumが第２の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ31，Ｂ32を生成する。空間勾配ＳＧsumが第３の区間に属するときは、下端値、上端値にそれぞれ対応した閾値Ｂ32，Ｂ33を生成する。空間勾配ＳＧsumが第４の区間に属するときは、下端値に対応した閾値Ｂ33を生成する。
【０１１６】
生成回路１７-3は、パラメータｒ，ｚの値および係数データＢ3i1〜Ｂ3i3（ｉ＝０〜３）を用い、（２１）式〜（２４）式に基づいて、閾値Ｂ30〜Ｂ33を生成する。係数データＢ3i1〜Ｂ3i3（ｉ＝０〜３）は、メモリ１９-3に予め格納されている。生成回路１７-3は、このメモリ１９-3から係数データを読み出して用いる。
【０１１７】
Ｂ30＝Ｂ301＋Ｂ302×ｒ＋Ｂ303×ｚ      ・・・（２１）
Ｂ31＝Ｂ311＋Ｂ312×ｒ＋Ｂ313×ｚ      ・・・（２２）
Ｂ32＝Ｂ321＋Ｂ322×ｒ＋Ｂ323×ｚ      ・・・（２３）
Ｂ33＝Ｂ331＋Ｂ332×ｒ＋Ｂ333×ｚ      ・・・（２４）
【０１１８】
また、閾値算出回路１８-は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値に対応した閾値をＢＬ、その区間の上端値に対応した閾値をＢＨとして、（２５）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ３を線形補間によって算出し、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ３をその区間の下端値に対応した閾値Ｂ33とする。
ｔｈ３＝（ＢＨ−ＢＬ）×ＰＯＳ＋ＢＬ      ・・・（２５）
【０１１９】
また、動き判定部１０は、入力端子１１に入力される動きクラスタップのデータ（ＳＤ画素データ）に基づいて、フレーム間差分ＦｒＧを検出するフレーム間差分検出回路２０を有している。
【０１２０】
フレーム間差分ＦｒＧは、ｔ−１フィールドの１５個の画素の値のそれぞれと、ｔ＋１フィールドの空間的に同一位置の１５個の画素の値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらにそれら絶対値を合計した値である。
【０１２１】
また、動き判定部１０は、検出回路２０で検出されるフレーム間差分ＦｒＧを、それぞれ上述した閾値算出回路１８-1〜１８-3で算出される閾値ｔｈ１〜ｔｈ３と比較する比較器２１-1〜２１-3を有している。これら比較器２１-1〜２１-3のそれぞれは、フレーム間差分ＦｒＧが閾値以上のときは出力信号Ｓ１〜Ｓ３として「１」を出力し、フレーム間差分ＦｒＧが閾値より小さいときは出力信号Ｓ１〜Ｓ３として「０」を出力する。
【０１２２】
また、動き判定部１０は、比較器２１-1〜２１-3の出力信号Ｓ１〜Ｓ３に基づいて、動きクラスＭＪを決定する動きクラス決定回路２２と、この動きクラス決定回路２２で決定された動きクラスＭＪを出力する出力端子２３とを有している。
【０１２３】
動きクラス決定回路２２は、ＦｒＧ＜ｔｈ３（Ｓ１＝０，Ｓ２＝０，Ｓ３＝０）であるときは、ＭＪ＝０とし、ｔｈ３≦ＦｒＧ＜ｔｈ２（Ｓ１＝０，Ｓ２＝０，Ｓ３＝１）であるときは、ＭＪ＝１とする。また、動きクラス決定回路２２は、ｔｈ２≦ＦｒＧ＜ｔｈ３（Ｓ１＝０，Ｓ２＝１，Ｓ３＝１）であるときは、ＭＪ＝２とし、ｔｈ３≦ＦｒＧ（Ｓ１＝１，Ｓ２＝１，Ｓ３＝１）であるときは、ＭＪ＝３とする。図９は、比較器２１-1〜２１-3の出力信号Ｓ１〜Ｓ３と動きクラスＭＪとの関係を示している。なお、動きクラスＭＪは２ビットのデータとして出力される。
【０１２４】
図１０は、上述した空間勾配ＳＧsum、フレーム間差分ＦｒＧ、閾値ｔｈ１〜ｔｈ３、動きクラスＭＪの関係を示している。
【０１２５】
なお、上述したメモリ１６，１９-1〜１９-3に予め格納される係数データＡi1〜Ａi3，Ｂ1i1〜Ｂ1i3，Ｂ2i1〜Ｂ2i3，Ｂ3i1〜Ｂ3i3は、経験的に得られたものである。すなわち、後述する係数種データ生成装置において係数データＡi1〜Ａi3，Ｂ1i1〜Ｂ1i3，Ｂ2i1〜Ｂ2i3，Ｂ3i1〜Ｂ3i3を種々に変化させて、上述した情報メモリバンク１３５に格納される各クラスの係数種データｗi0〜ｗi9を生成する。そして、それぞれの係数データＡi1〜Ａi3，Ｂ1i1〜Ｂ1i3，Ｂ2i1〜Ｂ2i3，Ｂ3i1〜Ｂ3i3および係数種データｗi0〜ｗi9を図１の画像信号処理部１１０で用い、パラメータｒ，ｚの各値に対応して得られるＨＤ信号による画像が良好となる場合の係数データＡi1〜Ａi3，Ｂ1i1〜Ｂ1i3，Ｂ2i1〜Ｂ2i3，Ｂ3i1〜Ｂ3i3および係数種データｗi0〜ｗi9を採用する。
【０１２６】
図７に示す動き判定部１０の動作を説明する。
第３のタップ選択回路１２３（図１参照）で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）が入力端子１１に入力される。この動きクラスタップのデータは空間勾配検出回路１２に供給される。この検出回路１２は、動きクラスタップのデータに基づいて、空間勾配ＳＧsumを検出する。この空間勾配ＳＧsumは、区間判定回路１３および区間内位置算出回路１４に供給される。
【０１２７】
生成回路１５には、システムコントローラ１０１（図１参照）からパラメータｒ，ｚが供給される。この生成回路１５は、パラメータｒ，ｚおよびメモリ１６より読み出される係数データＡi1〜Ａi3（ｉ＝０〜３）を用い、（６）式〜（９）式に基づいて、区間を規定するための値Ａ0〜Ａ3（Ａ0＜Ａ1＜Ａ2＜Ａ3）を生成する。この値Ａ0〜Ａ3は、区間判定回路１３および区間内位置算出回路１４に供給される。
【０１２８】
区間判定回路１３は、検出回路１２で検出される空間勾配ＳＧsumを生成回路１５で生成される値Ａ0〜Ａ3と比較することで、空間勾配ＳＧsumが属する区間を判定し、判定信号ＳＡを出力する。この場合、Ａ0≦ＳＧsum＜Ａ1であり、空間勾配ＳＧsumが第１の区間に属するときはＳＡ＝０、Ａ1≦ＳＧsum＜Ａ2であり、空間勾配ＳＧsumが第２の区間に属するときはＳＡ＝１、Ａ2≦ＳＧsum＜Ａ3であり、空間勾配ＳＧsumが第３の区間に属するときはＳＡ＝２、Ａ3≦ＳＧsumであり、空間勾配ＳＧsumが第４の区間に属するときはＳＡ＝３となる。この判定信号ＳＡは、区間内位置判定回路１４、生成回路１７-1〜１７-3および閾値算出回路１８-1〜１８-3に供給される。
【０１２９】
区間内位置算出回路１４は、生成回路１５で生成される値Ａ0〜Ａ3および検出回路１２で検出される空間勾配ＳＧsumに基づいて、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値をＡＬ、上端値をＡＨとして、（１０）式に基づいて、区間内位置情報ＰＯＳを算出する。この区間内位置情報ＰＯＳは、閾値算出回路１８-1〜１８-3に供給される。
【０１３０】
生成回路１７-1は、システムコントローラ１０１より供給されるパラメータｒ，ｚの値およびメモリ１９-1より読み出される係数データＢ1i1〜Ｂ1i3（ｉ＝０〜３）を用い、（１１）式〜（１４）式に基づいて、閾値算出回路１８-1で使用される、判定信号ＳＡで示される区間の下端値、上端値に対応した閾値を閾値決定用の値として生成する。
【０１３１】
そして、閾値算出回路１８-1は、空間勾配ＳＧsumが第１〜第３の区間に属するときは、生成回路１７-1で生成される、その区間の下端値、上端値に対応した閾値ＢＬ，ＢＨおよび算出回路１４で得られる区間内位置情報ＰＯＳを用い、（１５）式に基づいて、空間勾配ＳＧsumに対応した閾値ｔｈ１を算出する。また、閾値算出回路１８-1は、空間勾配ＳＧsumが第４の区間に属するときは、空間勾配ＳＧsumの値によらず閾値ｔｈ１をＢ13とする。これにより、閾値算出回路１８-1からは、空間勾配ＳＧsumに対応した閾値ｔｈ１が得られる。
【０１３２】
生成回路１７-2、閾値算出回路１８-2、および生成回路１７-3、閾値算出回路１８-3も、上述した生成回路１７-1、閾値算出回路１８-1と同様に動作する。そして、閾値算出回路１８-2，１８-3からは、それぞれ空間勾配ＳＧsumに対応した閾値ｔｈ２，ｔｈ３が得られる。閾値算出回路１８-1〜１８-3で算出される閾値ｔｈ１〜ｔｈ３は、それぞれ比較器２１-1〜２１-3に供給される。
【０１３３】
また、入力端子１１に入力される動きクラスタップのデータ（ＳＤ画素データ）はフレーム間差分検出回路２０に供給される。この検出回路２０は、動きクラスタップのデータに基づいて、フレーム間差分ＦｒＧを検出する。このフレーム間差分ＦｒＧは、比較器２１-1〜２１-3に供給される。比較器２１-1〜２１-3のそれぞれは、フレーム間差分ＦｒＧが閾値以上のときは出力信号Ｓ１〜Ｓ３として「１」を出力し、フレーム間差分ＦｒＧが閾値より小さいときは出力信号Ｓ１〜Ｓ３として「０」を出力する。
【０１３４】
比較器２１-1〜２１-3の出力信号Ｓ１〜Ｓ３は、動きクラス決定回路２２に供給される。動きクラス決定回路２２は、出力信号Ｓ１〜Ｓ３に基づいて、動きクラスＭＪ（２ビットのデータ）を決定する。この場合、ＦｒＧ＜ｔｈ３であるときＭＪ＝０、ｔｈ３≦ＦｒＧ＜ｔｈ２であるときＭＪ＝１、ｔｈ２≦ＦｒＧ＜ｔｈ３であるときＭＪ＝２、ｔｈ３≦ＦｒＧであるときＭＪ＝３となる。
【０１３５】
上述した動き判定部１０では、閾値決定用の値Ｂ10〜Ｂ13，Ｂ20〜Ｂ23，Ｂ20〜Ｂ33をパラメータｒ，ｚを含む生成式（（１１）〜（１４）式、（１６）〜（１９）式、（２１）〜（２４）式参照）によって生成するものであり、パラメータｒ，ｚの値に対応した動きクラスＭＪを得ることができる。
【０１３６】
また、上述した動き判定部１０では、区間を規定するための値Ａ0〜Ａ3をパラメータｒ，ｚを含む生成式（（６）〜（９）式参照）によって生成するものであり、パラメータｒ，ｚの値に対応した動きクラスＭＪを、さらに良好に決定できる。
【０１３７】
ここで、上述した図７に示す動き判定部１０における動き判定処理を、ソフトウェアで行う場合の手順を、図１１のフローチャートを参照して説明する。
先ず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、動きクラスタップのデータに基づいて、空間勾配ＳＧsumを算出する。
【０１３８】
次に、ステップＳＴ３で、区間を規定するための値Ａ0〜Ａ3を、（６）式〜（９）式に基づいて、生成する。そして、ステップＳＴ４で、ステップＳＴ２で算出された空間勾配ＳＧsumを、ステップＳＴ３で生成された値Ａ0〜Ａ3と比較して、空間勾配ＳＧsumが属する区間を判定する。
【０１３９】
次に、ステップＳＴ５で、ステップＳＴ３で生成された値Ａ0〜Ａ3、ステップＳＴ２で算出された空間勾配ＳＧsumおよびステップＳＴ４の区間の判定結果を用い、（１０）式に基づいて、区間内位置情報ＰＯＳを算出する。
【０１４０】
次に、ステップＳＴ６で、閾値ｔｈ１〜ｔｈ３を決定するための値を生成する。この場合、空間勾配ＳＧsumが第１〜第３の区間に属するときは、その区間の下端値、上端値に対応した閾値ＢＬ，ＢＨを閾値生成用の値として生成する。この閾値ＢＬ，ＢＨの生成は、（１１）〜（１４）式、（１６）〜（１９）式、（２１）〜（２４）式に基づいて行う。
【０１４１】
次に、ステップＳＴ７で、ステップＳＴ６で生成された閾値ＢＬ，ＢＨおよびステップＳＴ５で算出された区間内位置情報ＰＯＳを用い、空間勾配ＳＧsumが第１〜第３の区間に属するときは、（１５）式、（２０）式、（２５）式に基づいて、閾値ｔｈ１〜ｔｈ３を算出する。一方、空間勾配ＳＧsumが第４の区間に属するときは、その区間の下端値に対応した閾値Ｂ13〜Ｂ33を、そのまま閾値ｔｈ１〜ｔｈ３とする。
【０１４２】
次に、ステップＳＴ８で、動きクラスタップのデータに基づいて、フレーム間差分ＦｒＧを算出する。そして、ステップＳＴ９で、ＦｒＧ＜ｔｈ３であるか否かを判定する。ＦｒＧ＜ｔｈ３であるときは、ステップＳＴ１０で、動きクラスＭＪ＝０を出力し、ステップＳＴ１１で、処理を終了する。一方、ＦｒＧ＜ｔｈ３でないときは、ステップＳＴ１２に進む。
【０１４３】
ステップＳＴ１２では、ＦｒＧ＜ｔｈ２であるか否かを判定する。ＦｒＧ＜ｔｈ２であるときは、ステップＳＴ１３で、動きクラスＭＪ＝１を出力し、ステップＳＴ１１で、処理を終了する。一方、ＦｒＧ＜ｔｈ２でないときは、ステップＳＴ１４に進む。
【０１４４】
ステップＳＴ１４では、ＦｒＧ＜ｔｈ１であるか否かを判定する。ＦｒＧ＜ｔｈ１であるときは、ステップＳＴ１５で、動きクラスＭＪ＝２を出力し、ステップＳＴ１１で、処理を終了する。一方、ＦｒＧ＜ｔｈ１でないときは、ステップＳＴ１６で、動きクラスＭＪ＝３を出力し、ステップＳＴ１１で、処理を終了する。
【０１４５】
次に、多数決判定部５０について説明する。図１２は、多数決判定部５０の構成を示している。この多数決判定部５０は、動きクラスＭＪの孤立点を、近傍の動きクラスＭＪに整合したものとして、最終的な動きクラスＭＶを出力するための処理を行う。
【０１４６】
この多数決判定部５０は、上述した動き判定部１０より出力される動きクラスＭＪが入力される入力端子５１と、この入力端子５１に入力される動きクラスＭＪを１ライン期間遅延させるライン遅延回路５３と、入力端子５１に入力される動きクラスＭＪを１フィールド期間遅延させるフィールド遅延回路５４と、このフィールド遅延回路５４の出力信号を１ライン期間遅延させるライン遅延回路５５とを有している。
【０１４７】
また、多数決判決部５０は、タップ構築回路５２を有している。このタップ構築回路５２は、入力端子５１に入力された動きクラスＭＪと、ライン遅延回路５３からの１ライン前の動きクラスＭＪと、フィールド遅延回路５４からの１フィールド前の動きクラスＭＪと、フィールド遅延回路５４およびライン遅延回路５５を通ることで形成された前フィールドで且つ１ライン前の動きクラスＭＪとから多数決判定のためのタップを構築する。
【０１４８】
図１３は、多数決判定の対象としてのＨＤ信号における注目位置の近傍に位置する複数のタップの一例を示している。すなわち、各タップは、ＨＤ信号における各画素に対応している。また、注目位置のタップＰ０が存在する現行ラインと同一フィールド内の１ライン上（−１Ｈライン）と、現行ラインより空間的に１ライン上の前フィールドのライン（−２６３Ｈライン）と、現行ラインより空間的に１ライン下の前フィールドのライン（−２６２Ｈライン）とが示されている。
【０１４９】
注目位置のタップＰ０と垂直方向に整列する、−１Ｈライン上のタップＰ１、−２６３Ｈライン上のタップＰａが選択される。タップＰａの左右のタップＰｂが選択される。タップＰ１より一つのタップを飛ばした左右の位置のタップＰ３が選択される。注目位置のタップＰ０より一つのタップを飛ばした左側のタップＰ２が選択される。注目位置のタップＰ０の下側の位置に対して左右のタップＰｃが選択される。このように選択されたタップ数は、全てで１０個存在する。
【０１５０】
タップ構築回路５２は、図１３に示される全タップの内で、モードに応じて多数決判定に使用するタップを選択できる。モードは、例えば、ＳＤ信号の絵柄、動きの程度等に応じてユーザが選択する。図１４は、モードの種類と各モードで選択されるタップを示す。モード０、モード１、モード２、モード３の４通りのモードと、各モードに関して、フィールド内処理とフレーム間処理とが設定される。従って、選択されるタップの組み合わせとしては、全てで８種類存在する。
【０１５１】
最も単純なモード０では、フィールド内処理の場合には、注目位置のタップＰ０のみが使用され、フレーム間処理の場合では、Ｐ０およびＰａのタップが使用される。最も複雑なモード３では、フィールド内処理の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３の５個のタップが使用され、フレーム間処理の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐｂ、Ｐｃの９個のタップが使用される。
【０１５２】
図１２に戻って、また、多数決判定部５０は、カウンタ５６〜５８を有している。カウンタ５６は、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが３である動きクラスＭＪの個数をカウントする。カウンタ５７は、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが２以上である動きクラスＭＪの個数をカウントする。カウンタ５８は、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが１以上である動きクラスＭＪの個数をカウントする。
【０１５３】
また、多数決判定部５０は、カウンタ５６〜５８のカウント値を、それぞれ閾値ｔｈｒ３〜ｔｈｒ１と比較する比較器５９〜６１を有している。比較器５９〜６１は、それぞれ、カウント値が閾値ｔｈｒ３〜ｔｈｒ１以上であるときは出力信号ＣＤ３〜ＣＤ１として「１」を出力し、カウント値がｔｈｒ３〜ｔｈｒ１より小さいときは出力信号ＣＤ３〜ＣＤ１として「０」を出力する。ここで、閾値ｔｈｒ３〜ｔｈｒ１の値は、モードに応じて予め設定されている。
【０１５４】
また、多数決判定部５０は、比較器５９〜６１の出力信号ＣＤ３〜ＣＤ１に基づいて、注目位置の最終的な動きクラスＭＶを決定する動きクラス決定回路６２と、この決定された動きクラスＭＶ（２ビットのデータ）を出力する出力端子６３とを有している。この場合、動きクラス決定回路６２は、ＣＤ３が「１」であるときは動きクラスＭＶ＝３とし、ＣＤ２が「１」であるときは動きクラスＭＶ＝２とし、ＣＤ１が「１」であるときは動きクラスＭＶ＝１とし、ＣＤ３〜ＣＤ１のいずれも「０」であるときは動きクラスＭＶ＝０とする。
【０１５５】
図１２に示す多数決判定部５０の動作を説明する。
動き判定部１０より出力される動きクラスＭＪが入力端子５１に入力される。入力端子５１に入力される動きクラスＭＪはそのままタップ構築回路５２に供給される。また、入力端子５１に入力される動きクラスＭＪはライン遅延回路５３で１ライン期間遅延されてタップ構築回路５２に供給される。また、入力端子５１に入力される動きクラスＭＪはフィールド遅延回路５４で１フィールド期間遅延されてタップ構築回路５２に供給される。さらに、入力端子５１に入力される動きクラスＭＪはフィールド遅延回路５４およびライン遅延回路５５で１フィールド期間および１ライン遅延されてタップ構築回路５２に供給される。そして、タップ構築回路５２で、モードに応じて、多数決判定のためのタップが構築される（図１３、図１４参照）。
【０１５６】
また、カウンタ５６で、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが３である動きクラスＭＪの個数がカウントされる。カウンタ５７で、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが２以上である動きクラスＭＪの個数がカウントされる。カウンタ５８で、タップ構築回路５２で選択された各タップの動きクラスＭＪのうち、そのクラスが１以上である動きクラスＭＪの個数がカウントされる。
【０１５７】
カウンタ５６〜５８のカウント値は、それぞれ比較器５９〜６１に供給されて、閾値ｔｈｒ３〜ｔｈｒ１と比較される。そして、この比較器５９〜６１の出力信号ＣＤ３〜ＣＤ１は動きクラス決定回路６２に供給される。動きクラス決定回路６２では、ＣＤ３が「１」であるときは動きクラスＭＶ＝３とされ、ＣＤ２が「１」であるときは動きクラスＭＶ＝２とされ、ＣＤ１が「１」であるときは動きクラスＭＶ＝１とされ、ＣＤ３〜ＣＤ１のいずれも「０」であるときは動きクラスＭＶ＝０とされる。そして、このように動きクラス決定回路６２で決定された動きクラスＭＶが出力端子６３に出力される。
【０１５８】
ここで、上述した図１２に示す多数決判定部５０における多数決判定処理を、ソフトウェアで行う場合の手順を、図１５のフローチャートを参照して説明する。
【０１５９】
先ず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、モードに応じたタップを構築する。そして、ステップＳＴ２３で、各タップの動きクラスＭＪを取得する。
【０１６０】
次に、ステップＳＴ２４で、動きクラス３の個数が閾値ｔｈｒ３以上か否かを判定する。判定結果が肯定であるときは、ステップＳＴ２５で、動きクラスＭＶ＝３を出力し、ステップＳＴ２６で、処理を終了する。一方、判定結果が否定であるときは、ステップＳＴ２７に進む。
【０１６１】
ステップＳＴ２７では、動きクラス２以上の個数が閾値ｔｈｒ２以上か否かを判定する。判定結果が肯定であるときは、ステップＳＴ２８で、動きクラスＭＶ＝２を出力し、ステップＳＴ２６で、処理を終了する。一方、判定結果が否定であるときは、ステップＳＴ２９に進む。
【０１６２】
ステップＳＴ２９では、動きクラス１以上の個数が閾値ｔｈｒ１以上か否かを判定する。判定結果が肯定であるときは、ステップＳＴ３０で、動きクラスＭＶ＝１を出力し、ステップＳＴ２６で、処理を終了する。一方、判定結果が否定であるときは、ステップＳＴ３１で、動きクラスＭＶ＝０を出力し、ステップＳＴ２６で、処理を終了する。
【０１６３】
なお、上述の図７に示す動き判定部１０では、例えば、生成回路１７-1で値Ｂ10を、（１１）式で生成するものであるが、２次以上の項を持つ生成式、例えば（２６）式で生成してもよい。これは、他の値Ｂ11〜Ｂ13，Ｂ20〜Ｂ23，Ｂ30〜Ｂ33，Ａ0〜Ａ3に関しても同様である。
Ｂ10＝Ｂ101＋Ｂ102×ｒ＋Ｂ103×ｚ＋Ｂ104×ｒ2
＋Ｂ105×ｒｚ＋Ｂ106×ｚ2          ・・・（２６）
【０１６４】
しかしこの場合、係数データの個数が増加するので、例えば図１６に示すように、閾値ｔｈ１〜ｔｈ３を決定するための値、区間を規定するための値を、少なくすることも考えられる。また、区間を規定するための値Ａ0〜Ａ3は、固定としてもよい。
【０１６５】
次に、図１の画像信号処理部１１０の情報メモリバンク１３５に格納される係数種データの生成方法について説明する。情報メモリバンク１３５には、上述したように、係数種データが、変換方法毎かつクラス毎に、記憶されている。この係数種データは、予め学習によって生成される。
【０１６６】
まず、この生成方法の一例について説明する。（４）式の生成式における係数データである係数種データｗi0〜ｗi9（ｎ＝１〜９）を求める例を示すものとする。
【０１６７】
ここで、以下の説明のため、（２７）式のように、ｔｊ（ｊ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｒ，ｔ2＝ｚ，ｔ3＝ｒ2，ｔ4＝ｒｚ，ｔ5＝ｚ2，
ｔ6＝ｒ3，ｔ7＝ｒ2ｚ，ｔ8＝ｒｚ2，ｔ9＝ｚ3・・・（２７）
この（２７）式を用いると、（４）式は、（２８）式のように書き換えられる。
【０１６８】
【数５】
2004208045.tif 000007
【０１６９】
最終的に、学習によって未定係数ｗijを求める。すなわち、変換方法毎かつクラス毎に、ＳＤ信号の画素データとＨＤ信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（３）式および（４）式を用いて、Ｅは（２９）式で表される。ここで、ｘikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するＨＤ信号のｋ番目の画素データを表している。
【０１７０】
【数６】
2004208045.tif 000008
【０１７１】
最小二乗法による解法では、（２９）式のｗijによる偏微分が０になるようなｗijを求める。これは、（３０）式で示される。
【０１７２】
【数７】
2004208045.tif 000009
【０１７３】
以下、（３１）式、（３２）式のように、Ｘipjq、Ｙipを定義すると、（３０）式は、行列を用いて（３３）式のように書き換えられる。
【０１７４】
【数８】
2004208045.tif 000010
【０１７５】
【数９】
2004208045.tif 000011
【０１７６】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗijについて解かれ、係数種データが算出される。
【０１７７】
図１７は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から生徒信号としてのＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより解像度の異なるＳＤ信号を生成する。解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数が生成される。
【０１７８】
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
【０１７９】
ノイズを加える量としては、例えば（３４）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ                            ・・・（３４）
【０１８０】
例えば、周波数特性を可変するパラメータｒを０〜８の９段階に可変し、ノイズを加える量を可変するパラメータｚを０〜８の９段階に可変し、合計８１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図１の画像信号処理部１１０におけるパラメータｒ，ｚに対応するものである。
【０１８１】
図１８は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（５２５ｐ信号／１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１８２】
このＳＤ信号生成回路１５２には、変換方法選択信号が制御信号として供給される。第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される（図４参照）。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される（図５参照）。
【０１８３】
また、ＳＤ信号生成回路１５２には、パラメータｒ，ｚが供給される。パラメータｒに対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚに対応して、ＳＤ信号に加えるノイズの量が可変される。
【０１８４】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。
【０１８５】
これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。これら第１〜第３のタップ選択回路１５３〜１５５で選択されるタップは、タップ選択制御回路１５６からのタップ位置情報によって指定される。
【０１８６】
タップ選択制御回路１５６には、変換方法選択信号が制御信号として供給される。第１の変換方法が選択される場合と第２の変換方法が選択される場合とで、第１〜第３のタップ選択回路１５３〜１５５に供給されるタップ位置情報が異なるようにされている。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。
【０１８７】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７、動きクラス検出回路１５８、クラス合成回路１５９を有しているが、これらは上述した画像信号処理部１１０における空間クラス検出回路１２４、動きクラス検出回路１２５、クラス合成回路１２６と同様である。空間クラス検出回路１５７、動きクラス検出回路１５８はそれぞれ第２、第３のタップ選択回路から取り出されるタップデータ（画素データ）を入力とする。
【０１８８】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｒ，ｚとから、クラス毎に、係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を得るための正規方程式（（３３）式参照）を生成する正規方程式生成部１６０を有している。
【０１８９】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｒ，ｚが順次変更されていき、それに応じたＳＤ信号が順次生成され、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。このように周波数特性およびノイズ加算量の異なるＳＤ信号を順次作成して学習データを登録することで、任意の解像度およびノイズ抑圧度の画素データを得るための係数種データを求めることが可能となる。
【０１９０】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１９１】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗi0〜ｗi9を求める係数種データ決定部１６１と、この求められた係数種データｗi0〜ｗi9を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗi0〜ｗi9が求められる。
【０１９２】
図１８に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０１９３】
この場合、第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１９４】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１９５】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１９６】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１９７】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）ＭＶが得られる。
【０１９８】
この動きクラスＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動きクラスＭＶと再量子化コードＱｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）における注目値の画素データが属するクラスを示すクラスコードＣＬが得られる（（２）式参照）。
【０１９９】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２００】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｒ，ｚとから、正規方程式生成部１６０では、クラス毎に、係数種データｗi0〜ｗi9（ｎ＝１〜９）を生成するための正規方程式（（３３）式参照）が生成される。
【０２０１】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラスの係数種データｗi0〜ｗi9が求められ、その係数種データｗi0〜ｗi9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０２０２】
このように、図１８に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される各クラスの係数種データｗi0〜ｗi9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０２０３】
なお、図１８に示す係数種生成装置１５０は、間引きフィルタの周波数特性を指定するパラメータｒ、ノイズの加算割合を指定するパラメータｚを順次変更していき、多くの学習データが登録された正規方程式を作成し、各クラスの係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を一度に求めている。
【０２０４】
係数種データｗi0〜ｗi9を求める別の方法としては、パラメータｒ，ｚの各組み合わせによって生成されるＳＤ信号の各々について学習を行い、パラメータｒ，ｚの各組み合わせに対応した係数データＷｉをまず個別に求める。そして個別に求まった係数データＷｉを教師データとし、（４）式の関係を満たすように（２７）式を変数として最小二乗法を用いることで係数種データｗi0〜ｗi9を求めてもよい。
【０２０５】
なお、図１の画像信号処理部１１０における処理を、例えば図１９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０２０６】
まず、図１９に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラム、係数種データ、動きクラスを検出する際の閾値決定用の値を得るための係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０２０７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（Ｒ）ディスク３０６をドライブするフロッピー（Ｒ）ディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０２０８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０２０９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０２１０】
また、画像信号処理装置３００は、ＳＤ信号（５２５ｉ信号）を入力するための入力端子３１４と、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０２１１】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー（Ｒ）ディスク３０６で提供するようにしてもよい。
【０２１２】
また、ＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、ＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０２１３】
図２０のフローチャートを参照して、図１９に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、ＳＤ信号を１フレーム分または１フィールド分入力する。このＳＤ信号が入力端子３１４より入力される場合には、このＳＤ信号をＲＡＭ３０３に一時的に格納する。また、このＳＤ信号がハードディスクに記録されている場合には、ハードディスクドライブ３０５でこのＳＤ信号を読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３３で、入力ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ３４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ３５に進む。
【０２１４】
このステップＳＴ３５では、ユーザがリモコン送信機２００を操作して入力したパラメータｒ，ｚの値を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ３６で、取得したパラメータｒ，ｚおよび各クラスの係数種データを使用して、生成式（例えば（４）式）によって、各クラスの推定式（（３）式参照）の係数データＷｉを生成する。
【０２１５】
次に、ステップＳＴ３７で、ステップＳＴ３２で入力されたＳＤ信号より、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ３８で、ステップＳＴ３２で入力されたＳＤ信号の全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ３２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ３９に進む。
【０２１６】
このステップＳＴ３９では、ステップＳＴ３７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。この場合、クラスコードＣＬに含まれる動きクラスＭＶは、パラメータｒ，ｚに対応したものとされる。そして、ステップＳＴ４０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ信号の画素データ（ＨＤ画素データ）を生成し、その後にステップＳＴ３７に戻って、上述したと同様の処理を繰り返す。
【０２１７】
このように、図２０に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２１８】
また、処理装置の図示は省略するが、図１８の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０２１９】
図２１のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、学習に使われる、パラメータｒ，ｚの値を選択する。そして、ステップＳＴ５３で、全てのパラメータｒ，ｚの値の組み合わせに対して学習が終わったか否かを判定する。全ての組み合わせに対して学習が終わっていないときは、ステップＳＴ５４に進む。
【０２２０】
このステップＳＴ５４では、既知のＨＤ信号を１フレーム分または１フィールド分入力する。そして、ステップＳＴ５５で、全てのフレームまたはフィールドのＨＤ信号について処理が終了したか否かを判定する。終了したときは、ステップＳＴ５２に戻って、次のパラメータｒ，ｚの値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ５６に進む。
【０２２１】
このステップＳＴ５６では、ステップＳＴ５４で入力されたＨＤ信号より、ステップＳＴ５２で選択されたパラメータｒ，ｚの値に対応した周波数特性およびノイズ加算量を持つＳＤ信号を生成する。そして、ステップＳＴ５７で、ステップＳＴ５６で生成されたＳＤ信号より、ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ５８で、ステップＳＴ５４で入力されたＨＤ信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ５４に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ５９に進む。
【０２２２】
このステップＳＴ５９では、ステップＳＴ５７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ６０で、正規方程式（（３３）式参照）を生成する。その後に、ステップＳＴ５７に戻る。
【０２２３】
また、ステップＳＴ５３で、パラメータｒ，ｚの値の全ての組み合わせに対して学習が終わったときは、ステップＳＴ６１に進む。このステップＳＴ６１では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ６２で、その係数種データをメモリに保存し、その後にステップＳＴ６３で、処理を終了する。
【０２２４】
このように、図２１に示すフローチャートに沿って処理をすることで、図１８に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
【０２２５】
なお、上述実施の形態においては、パラメータが、解像度を調整するためのパラメータｒとノイズ除去度を調整するためのパラメータｚであるものを示したが、パラメータはこれに限定されるものではない。例えば、解像度を調整するためのパラメータｒを、さらに水平方向の解像度を調整するパラメータｈと垂直方向の解像度を調整するためのパラメータｖとに分けたものも考えられる。
【０２２６】
また、入力画像信号の一部領域を処理してズーム画像を得る場合には、画像の拡大率に応じて、入力画像信号の画素に対して位相の異なった画素データを順次生成していく必要がある。その場合に、水平、垂直の位相情報ｈ，ｖをパラメータとして、推定式によって画素データを生成することが考えられる。その場合に、上述実施の形態と同様にして、この位相情報ｈ，ｖに対応した動きクラスＭＶを得ることで、生成される画素データの精度を高めることができる。
【０２２７】
また、上述実施の形態においては、情報メモリバンク１３５に係数種データを記憶しておき、係数生成回路１３６では、この係数種データを用いて、（４）式の生成式に基づき、パラメータｒ，ｚに対応した係数データＷｉを生成し、この係数データＷｉを推定式で用いるものを示した。
【０２２８】
しかし、パラメータｒ，ｚの値の全ての組み合わせについての係数データを記憶しておき、システムコントローラ１０１より供給されるパラメータｒ，ｚの値に対応した係数データＷｉを読み出して使用するようにしてもよい。この場合、情報メモリバンク１３５に記憶されるパラメータｒ，ｚの値の各組み合わせの係数データＷｉは、パラメータｒ，ｚの値の各組み合わせで得られるＳＤ信号のそれぞれについて学習を行うことで求めることができる。
【０２２９】
また、上述実施の形態においては、出力画像信号Ｖoutの画素データを生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２３０】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２３１】
また、上述実施の形態としては、空間アクティビティとして空間勾配を用いたものであるが、他の空間アクティビティ、例えばダイナミックレンジ等を用いることも考えられる。
【０２３２】
【発明の効果】
この発明によれば、部分画像に関する空間アクティビティが属する区間に対応した閾値決定用の値を用いて閾値を発生し、部分画像に関するフレーム間差分をこの閾値と比較して部分画像の動きクラスを決定するものにあって、閾値決定用の値を所定のパラメータを含む生成式によって生成するものであり、所定のパラメータの値に対応した動きクラスを決定できる。
【０２３３】
また、この発明によれば、第１の情報信号を第２の情報信号に変換する際に、第２の画像信号における注目位置の画素データを、その画素データが属するクラスおよび所定のパラメータの値に対応して生成するものにあって、第１の画像信号に基づいて第２の画像信号における注目位置の周辺に位置する複数の画素データを選択し、その選択された画素データに基づいてフレーム間差分および空間アクティビティを検出し、所定のパラメータを含む生成式に基づいて空間アクティビティが属する区間に対応した閾値決定用の値を生成し、この閾値決定用の値を用いて空間アクティビティに対応した閾値を発生し、フレーム間差分をこの閾値と比較して動きクラスを決定するものであり、所定のパラメータの値に対応した動きクラスを決定でき、第２の画像信号における注目位置の画素データを精度よく生成できる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】画質を調整するためのユーザインタフェース例を示す図である。
【図３】調整画面を拡大して示した図である。
【図４】５２５ｉ信号と５２５ｐ信号の画素位置関係を説明するための図である。
【図５】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【図６】５２５ｐ信号を出力する場合のライン倍速処理を説明するための図である。
【図７】動き判定部の構成を示すブロック図である。
【図８】動きクラスタップを示す図である。
【図９】動きクラスＭＪを決定する論理を示す図である。
【図１０】空間勾配、フレーム間差分、閾値、動きクラスの関係を示す図である。
【図１１】動き判定処理を示すフローチャートである。
【図１２】多数決判定部の構成を示すブロック図である。
【図１３】動きクラスの多数決判定処理に使用するタップを示す図である。
【図１４】動きクラスの多数決判定処理のモードを示す図である。
【図１５】多数決判定処理を示すフローチャートである。
【図１６】空間勾配、フレーム間差分、閾値、動きクラスの関係を示す図である。
【図１７】係数種データの生成方法の一例の概念を示す図である。
【図１８】係数種データ生成装置の構成を示すブロック図である。
【図１９】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図２０】画像信号処理を示すフローチャートである。
【図２１】係数種データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０７・・・外部入力端子、１０９・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・線順次変換回路、１３０〜１３３・・・レジスタ、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３７・・・正規化係数生成回路、１３８・・・正規化係数メモリ、１５０・・・係数種データ生成装置、２００・・・リモコン送信機、３００・・・画像信号処理装置
【図１】
2004208045.tif 000012
【図２】
2004208045.tif 000013
【図３】
2004208045.tif 000014
【図４】
2004208045.tif 000015
【図５】
2004208045.tif 000016
【図６】
2004208045.tif 000017
【図７】
2004208045.tif 000018
【図８】
2004208045.tif 000019
【図９】
2004208045.tif 000020
【図１０】
2004208045.tif 000021
【図１１】
2004208045.tif 000022
【図１２】
2004208045.tif 000023
【図１３】
2004208045.tif 000024
【図１４】
2004208045.tif 000025
【図１５】
2004208045.tif 000026
【図１６】
2004208045.tif 000027
【図１７】
2004208045.tif 000028
【図１８】
2004208045.tif 000029
【図１９】
2004208045.tif 000030
【図２０】
2004208045.tif 000031
【図２１】
2004208045.tif 000032