(57)【要約】【課題】注目したいシーンの前後の動画像を注目したい位置を中心としてズームアップし、さらに、高画質の画像にすると共に、任意の再生速度で再生しても、なめらかな動画像になるようにする。【解決手段】  Ｖinより選択的に取り出された、Ｖoutを構成する単位画素ブロック内の各画素（注目画素）に対応するタップのデータよりクラスコードCLを得る。係数生成回路１３８では、各クラスの係数種データと、上述の注目画素の空間パラメータph，pv、画質パラメータrh，rv、およびフレーム位相値tに基づいて、上述の注目画素のデータ算出時に使用する各クラスの係数データを生成する。演算回路１２７で、上述の注目画素に対応するタップのデータxiと、メモリ１３４よりクラスコードＣＬで読み出された係数データWiとから、推定式を使用して、上述の注目画素のデータを演算する。【選択図】図２
2005159830.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像信号を第２の画像信号に変換する信号処理装置において、
入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納手段と、
前記格納手段に格納された第１の画像信号の再生速度を設定する再生速度設定手段と、
前記再生速度に基づいた前記第２の画像信号の、前記第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算手段と、
前記第２の画像信号の、前記第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定手段と、
前記第２の画像信号の、前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定手段と、
前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、
前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力手段と、
前記第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記格納手段に格納された前記第１の画像信号のうちの、前記第２の画像信号に変換する範囲を設定する範囲設定手段をさらに備える
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記空間位相値は、水平方向の空間位相値、および、垂直方向の空間位相値を含み、前記空間パラメータは、前記水平方向の空間位相値に対応する水平空間位相パラメータと、前記垂直方向の垂直空間位相パラメータとを含む
ことを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記画質は、鮮鋭度レベルとノイズレベルを含み、前記画質パラメータは、前記鮮鋭度レベルに対応する鮮鋭度パラメータと、前記ノイズレベルに対応するノイズパラメータとを含む
ことを特徴とする請求項１に記載の信号処理装置。
【請求項５】
第１の画像信号を第２の画像信号に変換する信号処理装置の信号処理方法において、
入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、
前記格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップと、
前記再生速度に基づいた前記第２の画像信号の、前記第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップと、
前記第２の画像信号の、前記第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップと、
前記第２の画像信号の、前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、
前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
前記第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップと
を含むことを特徴とする信号処理方法。
【請求項６】
第１の画像信号を第２の画像信号に変換する信号処理装置を制御するプログラムであって、
入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、
前記格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップと、
前記再生速度に基づいた前記第２の画像信号の、前記第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップと、
前記第２の画像信号の、前記第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップと、
前記第２の画像信号の、前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、
前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
前記第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
第１の画像信号を第２の画像信号に変換する信号処理装置を制御するコンピュータに、
入力された前記第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、
前記格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップと、
前記再生速度に基づいた前記第２の画像信号の、前記第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップと、
前記第２の画像信号の、前記第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップと、
前記第２の画像信号の、前記第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、
前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
前記フレーム位相値、前記空間パラメータ、および、前記画質パラメータに基づいた学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
前記第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、注目したいシーンをより鮮明で、かつ、より滑らかに再生できるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
入力された画像信号を高画質の画像信号に変換する技術が一般に普及しつつある。
【０００３】
また、入力された画像信号の注目したい位置を指定することにより、指定された画像信号上の位置を中心として拡大、または、縮小させた画像信号に変換する技術がある（例えば、特許文献１参照）。
【特許文献１】特開２００２−１９６７３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、複数のフレームが連続して再生される動画像信号を考えた場合、ユーザが、注目したいシーンというのは、一般に、注目したいシーンのフレームを含む、その前後の所定の時間内に再生されるべき、複数のフレームであるのが一般的である。さらに、その注目したいシーンをより詳細に見ようとすれば、いわゆるスロー再生と呼ばれる、通常の再生状態よりもゆっくりとした再生速度で見たいと考えるのが一般的である。
【０００５】
しかしながら、上述したような画像信号の変換処理は、指定されたフレームの画像信号が変換されるのみであるため、各フレームについて注目する指定された位置を中心として拡大することができるものの、1枚のフレーム当たりの表示時間を長くすることで、スロー再生を実現させることになるため、滑らかな動画像として再生させることができないという課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、特に、注目したいシーンの前後のフレームを注目したい位置を中心として拡大し、さらに、高画質の画像にすると共に、任意の再生速度で再生しても、滑らかな動画像になるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の信号処理装置は、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納手段と、格納手段に格納された第１の画像信号の再生速度を設定する再生速度設定手段と、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算手段と、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定手段と、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定手段と、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力手段と、第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算手段とを備えることを特徴とする。
【０００８】
前記格納手段に格納された第１の画像信号のうちの、第２の画像信号に変換する範囲を設定する範囲設定手段をさらに設けるようにさせることができる。
【０００９】
前記空間位相値には、水平方向の空間位相値、および、垂直方向の空間位相値を含ませるようにすることができ、空間パラメータには、水平方向の空間位相値に対応する水平空間位相パラメータと、垂直方向の垂直空間位相パラメータとを含ませるようにすることができる。
【００１０】
前記画質には、鮮鋭度レベルとノイズレベルを含ませるようにすることができ、画質パラメータには、鮮鋭度レベルに対応する鮮鋭度パラメータと、ノイズレベルに対応するノイズパラメータとを含ませるようにすることができる。
【００１１】
本発明の信号処理方法は、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップと、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップと、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップと、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体のプログラムは、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップと、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップと、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップと、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップと、格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップと、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップと、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップと、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップと、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップとをコンピュータに実行させることを特徴とする。
【００１４】
本発明の信号処理装置および方法、並びにプログラムにおいては、入力された第１の画像信号が最新の所定数のフレーム数だけ格納され、格納された第１の画像信号の再生速度が設定され、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値が計算され、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータが設定され、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータが設定され、第１の画像信号のレベル分布に応じて、第２の画像信号が、複数のクラスのうちのいずれかのクラスに分類するクラス分類され、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数が出力され、第１の画像信号と、クラスのタップ係数とを用いた演算が行われることにより、第２の画像信号が求められる。
【００１５】
本発明の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。
【発明の効果】
【００１６】
本発明によれば、注目したいシーンの前後の動画像を注目したい位置を中心として拡大し、さらに、高画質の画像にすると共に、任意の再生速度で再生しても、なめらかな動画像になるようにすることが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１８】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００１９】
即ち、本発明の信号処理装置は、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納手段（例えば、図２の画像メモリ１２１）と、格納手段に格納された第１の画像信号の再生速度を設定する再生速度設定手段（例えば、図１のつまみ１６ａ，１６ｂ）と、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算手段（例えば、図２のフレーム位相情報発生回路１４３）と、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定手段（例えば、図２の水平垂直位相情報発生回路１４１）と、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定手段（例えば、図２の画質情報発生回路１４２）と、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段（例えば、図２の空間クラス検出回路１２６、または、動きクラス検出回路１２７）と、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力手段（例えば、図２の係数メモリ１３６）と、第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算手段（例えば、図２の推定予測演算回路１２９）とを備えることを特徴とする。
【００２０】
前記格納手段に格納された第１の画像信号のうちの、第２の画像信号に変換する範囲を設定する範囲設定手段（例えば、図１のつまみ１６ａ，１６ｂ）をさらに設けるようにさせることができる。
【００２１】
本発明の信号処理方法は、入力された第１の画像信号を最新の所定数のフレーム数だけ格納する格納ステップ（例えば、図３のフローチャートのステップＳ６の処理）と、格納ステップの処理で格納された第１の画像信号の再生速度を設定する再生速度設定ステップ（例えば、図３のフローチャートのステップＳ１３の処理）と、再生速度に基づいた第２の画像信号の、第１の画像信号に対するフレーム位相値を計算するフレーム位相値計算ステップ（例えば、図３のフローチャートのステップＳ１２の処理）と、第２の画像信号の、第１の画像信号に対する空間的な位相である空間位相値を規定する空間パラメータを設定する空間パラメータ設定ステップ（例えば、図３のフローチャートのステップＳ１３の処理）と、第２の画像信号の、第１の画像信号に対して施す画質の調整の程度を規定する画質パラメータを設定する画質パラメータ設定ステップ（例えば、図３のフローチャートのステップＳ１３の処理）と、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップ（例えば、図３のフローチャートのステップＳ１８の処理）と、フレーム位相値、空間パラメータ、および、画質パラメータに基づいた学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップ（例えば、図３のフローチャートのステップＳ１９の処理）と、第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップ（例えば、図３のフローチャートのステップＳ２０の処理）とを含むことを特徴とする。
【００２２】
図１は、本発明を適用した画像処理システムの一実施の形態の構成を示す図である。
【００２３】
テレビジョン信号受信装置１は、図示せぬ放送局より送信されてくる放送信号を受信し、画像信号に変換して、システムコントローラ３に供給する。システムコントローラ３は、テレビジョン信号受信装置１より供給されてくる画像信号に各種の処理を施し、ディスプレイ２に表示させる。
【００２４】
システムコントローラ３には、後述する信号処理部１２０（図２）を内蔵しており、画像信号に対して各種の処理を施すに当たり、各種のボタン、または、つまみが操作されることにより、各種のパラメータが設定され、そのパラメータに基づいて、信号処理部１２０が各種の処理を施す。以下においては、そのボタン、または、つまみについて説明する。
【００２５】
ボタン１１ａ，１１ｂは、ズーム倍率ボリュームを設定するボタンであり、ズーム倍率を上げるときボタン１１ａが操作され、ズーム倍率を下げるときボタン１１ｂが操作される。
【００２６】
ボタン１２は、画像信号中の注目したい位置、すなわち、表示位置の中心にしたい位置を設定するとき操作され、表示されている画像上の注目したい位置を移動させるとき上下左右にボタン１２ａ，１２ｂ，１２ｃ，１２ｄがそれぞれ操作される。
【００２７】
つまみ１３は、ノイズ低減ボリュームを変更するとき操作され、図中の矢印Ｄ方向に操作されることにより、ノイズ低減のボリュームが下げられ、逆に、矢印Ｃ方向に操作されることにより上げられる。
【００２８】
つまみ１４は、鮮鋭度調整ボリュームを変更するとき操作され、図中の矢印Ｂ方向に操作されることにより、鮮鋭度調整のボリュームが下げられ、逆に、矢印Ａ方向に操作されることにより上げられる。
【００２９】
ボタン１５は、画像信号の画像メモリ１２１への書き込みを停止させると共に、画像メモリ１２１に蓄えられた画像信号を読み出して処理し、ディスプレイ２に供給させるように切り替える停止ボタンであり、再度、ボタン１５が操作されると画像メモリ１２１への書き込みが開始され、テレビジョン信号受信装置１より供給された画像信号が後段に供給される。すなわち、システムコントローラ３の信号処理部１２０（図２）は、その内部に画像メモリ１２１（図２）が設けられており、テレビジョン信号受信装置１より供給される画像信号が、順次書き込まれると共に、最も古いフレームの画像信号が消去されることにより、常に直近の30秒分の画像信号（フレームレートが30（フレーム／秒）であるとすれば、900フレーム分の画像信号）が記憶される。
【００３０】
つまみ１６ａ，１６ｂは、矢印Ｇ方向に操作することができ、つまみ１６ａの位置が、画像メモリ１２１に蓄えられた画像信号のうちの再生開始位置を設定し、つまみ１６ｂの位置が、画像メモリ１２１に蓄えられた画像信号のうちの再生終了位置を設定する。すなわち、つまみ１６の右端がボタン１５が操作された瞬間の時点のフレームの画像信号を示し、左端が、ボタン１５が操作される30秒前の時点のフレームの画像信号を示しており、ボタン１５が操作されると、つまみ１６ａで設定されたフレームから、つまみ１６ｂで設定された画像信号が再生される。
【００３１】
つまみ１７は、再生速度ボリューム（スピードボリューム）を設定するとき操作される。つまみ１７は、矢印Ｅ方向に操作されると再生速度ボリュームが大きく設定され、再生速度が早くなる。逆に、つまみ１７は、矢印Ｆ方向に操作されると再生速度ボリュームが小さく設定され、再生速度が低速となる。
【００３２】
つまみ１８は、受信周波数を操作するつまみであり、後述するチューナ１１２（図２）は、この操作情報に対応した信号に基づいて、矢印H方向、または、I方向に操作させることにより受信周波数を変化させる。ボタン１９は、後述する画像信号の変換方法を選択するとき操作されるボタンであり、一回押下される毎に変換方法が所定の順序で順次切り替えられ、最後の変換方法にまで切り替えられた状態で押下されると先頭の変換方法に戻る。
【００３３】
以上のシステムコントローラ３の操作情報が、図２で示される信号処理部１２０に供給され、それぞれの操作情報に対応した信号や、その信号により示される各種のパラメータに基づいて、処理が実行される。
【００３４】
次に、図２を参照して、テレビジョン信号受信装置１と、信号処理部１２０の詳細について説明する。
【００３５】
テレビジョン信号受信装置１は、受信アンテナ１１１と、この受信アンテナ１１１で捕らえられた放送信号（RF（Radio Frequency）変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って525i信号を得るチューナ１１２と、このチューナ１１２より出力される525i信号を一時的に保存するためのバッファメモリ１１３とを有している。
【００３６】
信号処理部１２０は、バッファメモリ１１３に一時的に保存される525i信号である画像信号Ｖinを、1080i信号またはXGA（Extended Graphics Array（1024画素×768画素））信号に変換し、あるいはその525i信号をその画像の一部を任意の倍率で拡大表示するための新たな525i信号に変換して出力する。さらに、信号処理部１２０は、ボタン１５、および、つまみ１６ａ，１６ｂ，１７の操作に応じて、画像メモリ１２１に蓄えられた画像信号のうちの任意のタイミングのものを、任意の再生速度で表示できるように、フレーム数を調整し（フレーム数を増やす必要がある場合は、フレームを補間生成し、または、必要に応じてフレームを間引き）、任意の再生速度でもなめらかな画像を表示できるように処理する。
【００３７】
信号処理部１２０の画像メモリ１２１は、ボタン１５が操作されるまで、バッファメモリ１１３に記憶されている525i信号の直近の30秒分のフレームに対応する画像信号を順次記憶する。より詳細には、画像メモリ１２１は、30秒分のフレームに対応する画像信号を記憶すると、新しいフレームの画像信号を記憶すると共に、最も古いフレームに対応する画像信号を消去する。
【００３８】
フレーム選択回路１２２は、通常は、バッファメモリ１１３より供給される各フレームの画像信号を第１乃至第３のタップ選択回路１２３乃至１２５に供給する。また、フレーム選択回路１２２は、ボタン１５が操作されると（停止ボタンが操作されると）、画像メモリ１２１の画像信号の書き込みを停止させ、つまみ１６ａ，１６ｂで設定される開始位置のフレームから終了位置のフレームまでの範囲で画像メモリ１２１に記憶されている画像信号を読み出して、第１乃至第３のタップ選択回路１２３乃至１２５に供給する。
【００３９】
第１のタップ選択回路１２３は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２４は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２５は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００４０】
空間クラス検出回路１２６は、第２のタップ選択回路１２４で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。
【００４１】
より詳細には、空間クラス検出回路１２６は、例えば、空間クラスタップのデータを、８ビットデータから２ビットデータに圧縮するような演算を実行する。そして、空間クラス検出回路１２６は、空間クラスタップのデータにそれぞれ対応した圧縮データを空間クラスのクラス情報として出力する。以下の説明において、空間クラス検出回路１２６は、ADRC（Adaptive Dynamic Range Coding）符号化処理によって、データの圧縮を行うものとするが、情報圧縮手段としては、ADRC符号化処理以外にDPCM（予測符号化）符号化処理や、VQ（ベクトル量子化）符号化処理などを用いるようにしてもよい。
【００４２】
本来、ADRC符号化処理は、VTR（Video Tape Recorder）向けに開発された適応再量子化符号化処理であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用に適したものであるといえる。また、ADRC符号化処理が使用される場合、空間クラスタップのデータの最大値がMAX、その最小値がMIN、空間クラスタップのデータのダイナミックレンジがDR（＝MAX−MIN＋１）、再量子化ビット数がPであるものとすると、空間クラスタップとして抽出された各画素のデータkiに対して、以下の式（１）の演算により、圧縮データとしての再量子化コードQiが得られる。ただし、式（１）において、[ ]は切り捨て処理を意味する。空間クラスタップのデータとして、Na個の画素データがあるとき、ｉ＝１乃至Ｎａである。
【００４３】
Qi=［（ki−MIN＋0.5）×（2P）／DR］
・・・（１）
【００４４】
動きクラス検出回路１２７は、第３のタップ選択回路１２５で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する。
【００４５】
動きクラス検出回路１２７は、第３のタップ選択回路１２５で選択的に取り出される動きクラスタップのデータからフレーム間差分を算出し、さらにその差分の絶対値の平均値に対して閾値との比較に基づいた処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２７は、以下の式（２）で示される演算によって、差分の絶対値の平均値AVを算出する。例えば、第３のタップ選択回路１２５が、動きクラスタップのデータとして、注目画素に対応する今現在のフレームの６個の画素データｍ1乃至ｍ6と、その１フレーム前の６個の画素データｎ1乃至ｎ6が取り出された場合、以下の式（２）において、Nbは６となる。すなわち、以下の式（２）においては、Nbは、動きクラスを設定するために選択される動きクラスタップの数を示している。
【００４６】
【数１】
2005159830.tif 000003
・・・（２）
【００４７】
動きクラス検出回路１２７は、上述したように算出された平均値AVが１個または複数個の閾値と比較されて動きクラスのクラス情報MVを設定する。例えば、３個の閾値th1，th2，th3（th1＜th2＜th3）が設定される場合、動きクラス検出回路１２７は、４つの動きクラスMVを設定し、AV≦th1のとき、動きクラスをMV＝０に設定し、th1＜AV≦th2のとき、動きクラスをMV＝１に設定し、th2＜AV≦th3のとき、動きクラスをMV＝２に設定し、そして、th3＜AVのとき、動きクラスをMV＝３にそれぞれ設定する。
【００４８】
クラス合成回路１２８は、空間クラス検出回路１２６より出力される空間クラスのクラス情報としての再量子化コードQiと、動きクラス検出回路１２７より出力される動きクラスのクラス情報MVとを合成し、作成すべき出力画像信号Voutを構成する単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードCLを生成し、出力する。
【００４９】
より具体的には、クラス合成回路１２８は、以下で示される式（３）を演算することによって、クラスコードCLを演算する。なお、以下の式（３）において、Naは空間クラスタップのデータの個数、PはADRC符号化処理における再量子化ビット数を示している。
【００５０】
【数２】
2005159830.tif 000004
・・・（３）
【００５１】
後段の後処理回路１３１は、出力画像信号Voutとして、1080i信号を出力する場合と、XGA信号を出力する場合と、525i信号を出力する場合とで、その動作を切り替える。レジスタ１３２は、後処理回路１３１の動作を指定する動作指定情報を格納する。後処理回路１３１は、レジスタ１３２より供給される動作指定情報に従った動作をする。
【００５２】
レジスタ１３３は、第１のタップ選択回路１２３で選択される予測タップのタップ位置情報を格納する。第１のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って予測タップを選択し、選択したタップである画素の画素値を取得する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００５３】
レジスタ１３４は、第２のタップ選択回路１２４で選択される空間クラスタップのタップ位置情報を格納する。第２のタップ選択回路１２４は、レジスタ１３４より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００５４】
ここで、レジスタ１３４は、動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとを格納している。これらタップ位置情報A，Bのいずれを第２のタップ選択回路１２４に供給するかは、動きクラス検出回路１２７より出力される動きクラスのクラス情報MVによって選択される。
【００５５】
すなわち、動きがないか、あるいは動きが小さいために動きクラスがMV＝０またはMV＝１であった場合、例えば、タップ位置情報Aが第２のタップ選択回路１２４に供給され、この第２のタップ選択回路１２４で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにMV＝２またはMV＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２４に供給される。
【００５６】
なお、上述したレジスタ１３３にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２３に供給されるタップ位置情報が動きクラス検出回路１２７より出力される動きクラスのクラス情報MVによって選択されるようにしてもよい。
【００５７】
レジスタ１３５は、第３のタップ選択回路１２５で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２５は、レジスタ１３５より供給されるタップ位置情報に従って動きクラスタップを選択する。
【００５８】
係数メモリ１３６は、後述する推定予測演算回路１２９で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、525i信号を1080i信号またはXGA信号に変換し、若しくはその525i信号をその画像の一部を任意の倍率で拡大表示するための新たな525i信号に変換するため、または、再生速度ボリュームに応じて、例えば、スロー再生などで、フレームレートの変化に伴って生成される新たなフレームを補間生成するための情報である。係数メモリ１３６は、上述したクラス合成回路１２８より出力されるクラスコードCLを読み出しアドレス情報として取得し、クラスコードCLに対応した係数データを読み出し、推定予測演算回路１２９に供給する。
【００５９】
情報メモリバンク１３７は、レジスタ１３２に格納するための動作指定情報と、レジスタ１３３乃至１３５に格納するためのタップ位置情報が予め格納されている。
【００６０】
ここで、レジスタ１３２に格納するための動作指定情報として、情報メモリバンク１３７には、後処理回路１３１を1080i信号を出力するように動作させるための第１の動作指定情報と、後処理回路１３１をXGA信号を出力するように動作させるための第２の動作指定情報と、後処理回路１３１を525i信号を出力するように動作させるための第３の動作指定情報とが予め蓄えられている。
【００６１】
例えば、システムコントローラ３のボタン１９がユーザにより操作されることにより、1080i信号を出力する第１の変換方法か、XGA信号を出力する第２の変換方法か、さらには525i信号を出力する第３の変換方法かが選択される。なお、第３の変換方法を選択するとき、ユーザは、さらに表示画像の倍率（画像サイズ）を指定できる。情報メモリバンク１３７にはシステムコントローラ３よりその変換方法の選択情報が供給され、この情報メモリバンク１３７よりレジスタ１３２にはその選択情報に従って第１、第２または第３の動作指定情報がロードされる。
【００６２】
また、情報メモリバンク１３７は、レジスタ１３３に格納するための予測タップのタップ位置情報として、第１の変換方法（1080i）に対応する第１のタップ位置情報と、第２の変換方法（XGA）に対応する第２のタップ位置情報と、第３の変換方法（525i）に対応する第３のタップ位置情報が予め蓄えられている。この情報メモリバンク１３７よりレジスタ１３３には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００６３】
なお、情報メモリバンク１３７に、第３の変換方法に対応する第３のタップ位置情報として、表示画像の倍率に対応したタップ位置情報を予め蓄えておき、第３の変換方法が選択された場合に、併せて指定された倍率に対応したタップ位置情報を情報メモリバンク１３７よりレジスタ１３３にロードするようにしてもよい。このことは、後述するレジスタ１３４，１３５へのタップ情報のロードにおいても同様である。
【００６４】
また、情報メモリバンク１３７は、レジスタ１３４に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（1080i）に対応する第１のタップ位置情報と、第２の変換方法（XGA）に対応する第２のタップ位置情報と、第３の変換方法（525i）に対応する第３のタップ位置情報とを予め蓄えている。第１、第２および第３のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３７よりレジスタ１３４には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００６５】
さらに、情報メモリバンク１３７は、レジスタ１３５に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（1080i）に対応する第１のタップ位置情報と、第２の変換方法（XGA）に対応する第２のタップ位置情報と、第３の変換方法（525i）に対応する第３のタップ位置情報とを予め蓄えている。情報メモリバンク１３７は上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報をロードさせる。
【００６６】
さらに、情報メモリバンク１３７は、各クラスの係数種データを予め蓄えている。この係数種データは、上述した係数メモリ１３６に格納するための係数データを生成するための、位相情報をパラメータとする生成式の係数データである。
【００６７】
後述する推定予測演算回路１２９では、予測タップのデータxiと、係数メモリ１３６より読み出される係数データWiとから、式（４）の推定式によって、作成すべき画素データｙが演算される。第１のタップ選択回路１２３で選択される予測タップが１０個であるとき、式（４）におけるｎは１０となる。
【００６８】
【数３】
2005159830.tif 000005
・・・（４）
【００６９】
そして、この推定式の係数データWi（ｉ＝１乃至ｎ）は、例えば式（５）で示されるように、空間位相を示す空間パラメータ（ph，pv）（ボタン１２で設定される水平方向、および、垂直方向の位置）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）（つまみ１３，１４で設定される鮮鋭度のレベルとノイズの低減レベル）、および、フレーム位相値（t）（つまみ１７で設定される再生速度に基づいて設定される、生成しようとするフレームの、既存のフレームに対するずれを示す値）をパラメータとする生成式によって生成される。情報メモリバンク１３７には、この生成式の係数データである係数種データｗ100乃至ｗn10が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
【００７０】
【数４】
2005159830.tif 000006
・・・（５）
【００７１】
係数生成回路１３８は、各クラスの係数種データおよび空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、フレーム位相値（t）とを用い、式（５）によって、クラス毎に、空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、生成すべきフレームと既存のフレームとのずれ量を示すフレーム位相値（t）の値に対応した推定式の係数データWi（ｉ＝１乃至ｎ）を生成する。係数生成回路１３８は、情報メモリバンク１３７より、各クラスの係数種データがロードされると共に、後述する水平垂直位相情報発生回路１４１で発生される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、フレーム位相値（t）が供給される。係数生成回路１３８で生成される各クラスの空間位相を示す空間パラメータ（ph，pv）、画像処理に係る画質の調整の強度を設定するパラメータ（rh，rv）、および、時間（フレーム位相値）（t）に対応した係数データWi（ｉ＝１乃至ｎ）は、上述した係数メモリ１３６に格納される。
【００７２】
水平垂直位相情報発生回路１４１は、システムコントローラ３のボタン１１ａ，１１ｂ，１２ａ，１２ｂ，１２ｃ，１２ｄ，１９の操作に基づいて供給される、変換方法の選択情報および倍率の指定情報に対応した入力画像信号Ｖinと出力画像信号Ｖoutにおける垂直方向、水平方向の各フィールドにおける画素数の対応関係情報ｎ／ｍに基づいて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、および、垂直方向の位相パラメータph，pvをそれぞれ発生させる。この水平垂直位相情報発生回路１４１は例えばROM（Read Only Memory）テーブルで構成される。
【００７３】
水平垂直位相情報発生回路１４１で発生される各画素の水平方向、および、垂直方向の位相パラメータph，pvは、それぞれ画素番号（タップ番号）と関連付けられて、係数生成回路１３８に供給される。なお、水平垂直位相情報発生回路１４１からは、入力画像信号Ｖinの奇数、偶数のフィールドのそれぞれに対応して位相パラメータph，pvが発生される。
【００７４】
例えば、図３で示されるように、第１の変換方法（525iから1080iへの変換）が選択される場合、垂直方向に関してｎ／ｍ＝９／４であり、水平方向に関してｎ／ｍは９／４である。尚、図３においては、525i信号と1080i信号の画素位置関係が示されており、大きなドットが525i信号の画素であり、小さなドットが1080i信号の画素である。また、奇数フィールドの画素位置が実線で示されており、偶数フィールドの画素位置が破線で示されている。
【００７５】
そのため、入力画像信号Ｖinとしての525i信号の４×４の画素ブロックに対して出力画像信号Ｖoutとしての1080i信号の９×９の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは９×９の画素ブロックということになる。
【００７６】
図３の場合、水平垂直位相情報発生回路１４１では、この９×９の単位画素ブロック内の各画素について、上述した525i信号の４×４の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータphとする。尚、この例においては、525i信号の垂直方向の画素間隔が１６、水平方向の画素間隔が８とされて、上述の位相パラメータph，pvが求められる。これは、第２、第３の変換方法が選択される場合も同様である。
【００７７】
ここで、位相パラメータpvに関しては、９×９の単位画素ブロック内の対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が上述の最短画素より下方に位置するときは正の値とされる。また、位相パラメータphに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。これは、第２、第３の変換方法が選択される場合も同様である。
【００７８】
このように、第１の変換方法（525iから1080iへの変換）が選択される場合、水平垂直位相情報発生回路１４１では、奇数、偶数のフィールドのそれぞれに対応して、９×９の単位画素ブロックを構成する８１個の画素のそれぞれついての位相パラメータph，pvが発生される。
【００７９】
また例えば、第２の変換方法（525iからXGAへの変換）が選択される場合、垂直方向に関してｎ／ｍ＝１６／５であり、水平方向に関してｎ／ｍは８／５である。そのため、入力画像信号Ｖinとしての525i信号の５×５の画素ブロックに対して出力画像信号ＶoutとしてのXGA信号の８×１６の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは８×１６の画素ブロックということになる。
【００８０】
この場合、水平垂直位相情報発生回路１４１では、この８×１６の単位画素ブロック内の各画素について、上述した525i信号の５×５の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータphとする。
【００８１】
このように、第２の変換方法（XGA）が選択される場合、水平垂直位相情報発生回路１４１では、奇数、偶数のフィールドのそれぞれに対応して、８×１６の単位画素ブロックを構成する１２８個の画素のそれぞれついての位相パラメータph，pvが発生される。
【００８２】
さらにまた例えば、第３の変換方法（525i）が選択される場合、指定された表示画像の倍率（画像サイズ）に応じて垂直方向および水平方向に関するｎ／ｍが一意的に決まる。垂直方向に関してｎ／ｍ＝ｎv／ｍv、水平方向に関してｎ／ｍ＝ｎh／ｍhであるとすると、入力画像信号Ｖinとしての525i信号のｍh×ｍvの画素ブロックに対して出力画像信号Ｖoutとしての525i信号のｎh×ｎvの画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックはｎh×ｎvの画素ブロックということになる。
【００８３】
この場合、水平垂直位相情報発生回路１４１では、このｎh×ｎvの単位画素ブロック内の各画素について、上述した入力画像信号Ｖinとしての525i信号のｍh×ｍvの画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータpvとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相パラメータphとする。
【００８４】
このように、第３の変換方法（525i）が選択される場合、水平垂直位相情報発生回路１４１では、奇数、偶数のフィールドのそれぞれに対応して、ｎh×ｎvの単位画素ブロックを構成する各画素についての位相パラメータph，pvが発生される。
【００８５】
画質情報発生回路１４２は、システムコントローラ３のつまみ１３，１４の操作に基づいて供給される、画質の調整の程度を規定するパラメータであるノイズ低減ボリュームに対応するパラメータrhと鮮鋭度調整ボリュームに対応するパラメータrvを発生し、係数生成回路１３８に供給する。この画質情報発生回路１４２は例えばROM（Read Only Memory）テーブルで構成される。
【００８６】
フレーム位相情報発生回路１４３は、システムコントローラ３のつまみ１７の操作に基づいて供給される、再生速度ボリュームの情報に基づいて、生成すべきフレームの既存のフレームに対するずれ量を示すフレーム位相値を発生し、係数生成回路１３８に供給する。尚、フレーム位相値については、詳細を後述する。
【００８７】
正規化係数生成回路１３９は、係数生成回路１３８で生成される各クラスの各パラメータph，pvの係数データWi（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを、以下の式（６）によって演算する。ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１４０を有している。正規化係数メモリ１４０には上述したクラス合成回路１２８より出力されるクラスコードCLが読み出しアドレス情報として供給され、この正規化係数メモリ１４０からはクラスコードCLに対応した正規化係数Sが読み出され、後述する正規化演算回路１３０に供給されることとなる。
【００８８】
【数５】
2005159830.tif 000007
・・・（６）
【００８９】
推定予測演算回路１２９は、第１のタップ選択回路１２３で選択的に取り出される予測タップのデータxiと、係数メモリ１３６より読み出される係数データWiとから、出力画像信号Voutを構成する単位画素ブロック内の各画素のデータを演算する。
【００９０】
推定予測演算回路１２９は、出力画像信号Ｖoutを構成する画素データを単位画素ブロック毎に生成する。すなわち、推定予測演算回路１２９は、第１のタップ選択回路１２３からの単位画素ブロック内の各画素（注目画素）に対応した予測タップのデータxiと、係数メモリ１３６からの、その単位画素ブロックを構成する各画素に対応した係数データWiとに基づいて、単位画素ブロックを構成する各画素のデータを、それぞれ個別に上述した式（４）の推定式により演算する。
【００９１】
例えば、推定予測演算回路１２９は、第１の変換方法（1080i）が選択されている場合には、単位画素ブロックを構成する８１個の画素のデータが同時的に生成され、第２の変換方法（XGA）が選択されている場合には、単位画素ブロックを構成する１２８個の画素のデータが同時的に生成され、さらに第３の変換方法（525i）が選択されている場合には、単位画素ブロックを構成する（ｎh×ｎv）個（ｎh，ｎvは、表示画像の指定倍率によって変化する）の画素データが同時的に生成される。
【００９２】
正規化演算回路１３０は、推定予測演算回路１２９より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙP（Ｐは単位ブロックを構成する画素の個数）を、正規化係数メモリ１４０より読み出し、それぞれの生成に使用された係数データWi（ｉ＝１乃至ｎ）に対応した正規化係数Ｓで除算して正規化する。すなわち、係数生成回路１３８は、係数種データより生成式で推定式の係数データを求めるが、この際、生成される係数データは丸め誤差が含まれることになるため、係数データWi（ｉ＝１乃至ｎ）の総和が１．０になることが保証されないことになる。そのため、推定予測演算回路１２９で演算される各画素のデータｙ1乃至ｙPは、丸め誤差によってレベル変動したものとなってしまう。そこで、正規化演算回路１３０が、これらを正規化することで、その変動を除去する。
【００９３】
後処理回路１３１は、正規化演算回路１３０で正規化されて順次供給される単位画素ブロック内の画素のデータｙ1′乃至ｙP′を、第１乃至第３の変換方法によって特定されるフォーマットにすることにより出力画像信号Ｖoutを出力する。すなわち、この後処理回路１３１からは、第１の変換方法が選択されている場合には1080i信号が出力され、第２の変換方法が選択されている場合にはXGA信号が出力され、さらに第３の変換方法が選択されている場合には525i信号が出力される。この後処理回路１３１の動作指定情報は、上述したようにレジスタ１３２より供給される。
【００９４】
次に、図４のフローチャートを参照して、信号処理部１２０による画像処理について説明する。
【００９５】
ステップＳ１において、フレーム選択回路１２２は、ボタン１５が操作されて、停止ボタンが操作された状態となったか否かを判定する。例えば、ボタン１５が操作されないと判定された場合、その処理は、ステップＳ２に進む。
【００９６】
ステップＳ２において、各種のパラメータである係数ph，pv，rh，rv，tが生成される。すなわち、水平垂直位相情報発生回路１４１は、システムコントローラ３のボタン１１ａ，１１ｂ，１２ａ，１２ｂの操作信号に応じて、対応する係数ph，pvを生成し、画質情報発生回路１４２は、システムコントローラ３のつまみ１３，１４の操作信号に応じて、対応する係数rh，rvを生成し、フレーム位相情報発生回路１４３は、システムコントローラ３のつまみ１６ａ，１６ｂ，１７の操作信号に応じて、対応する係数tを生成し、それぞれ係数生成回路１３８に供給する。尚、ステップＳ２の処理においては、ボタン１５が操作されておらず、つまみ１６ａ，１６ｂ，１７の操作に対応する操作信号は、発生しないため（画像メモリ１２１に記憶された画像信号の再生がなされないため）、フレーム位相差は生じない（バッファメモリ１１３からのフレームに対応するフレームを利用して画像を生成するので、新たなフレームを生成する必要がない。結果として、ステップＳ２の場合、フレーム位相情報発生回路１４３は、常に、フレーム位相値tを０として出力することになる。
【００９７】
ステップＳ３において、フレーム選択回路１２２は、バッファメモリ１１３より供給される画像信号が終了したか否かを判定し、供給が終了したと判定された場合、その処理を終了する。また、供給が続けられていると判定された場合、その処理は、ステップＳ４に進む。
【００９８】
ステップＳ４において、係数種データから係数データが生成される。すなわち、係数生成回路１３８は、水平垂直位相情報発生回路１４１で発生された出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の空間位相パラメータph，pv、画質情報発生回路１４２で発生された画質パラメータrh，rv、および、フレーム位相差tに対応した各クラスの推定式の係数データWi（ｉ＝１乃至ｎ）を生成し係数メモリ１３６に格納する。また、このとき、正規化係数生成回路１３９は、上述したように係数生成回路１３８で生成された各クラスおよび各位相情報の係数データWi（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを生成し、正規化係数メモリ１４０に格納する。
【００９９】
ステップＳ５において、フレーム選択回路１２２は、バッファメモリ１１３より供給されてくる画像信号の各画素値を取得し、第１乃至第３のタップ選択回路１２３乃至１２５に供給する。さらに、ステップＳ６において、画像メモリ１２１は、バッファメモリ１１３からの画像信号を最大30秒分を順次記憶する。
【０１００】
ステップＳ７において、フレーム選択回路１２２は、１フレーム分の画素が処理されたか否かを判定し、１フレーム分の画素が処理されていないと判定された場合、その処理は、ステップＳ８に進み、また、ステップＳ７において、１フレーム分の画素が処理されたと判定された場合、その処理は、ステップＳ１に戻る。
【０１０１】
ステップＳ８において、クラスコードCLが生成される。すなわち、第２のタップ選択回路１２４は、レジスタ１３４より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２７で検出される動きクラスに対応したタップ位置情報に基づいて、入力された画素値より空間クラスタップのデータを選択的に取り出し、空間クラス検出回路１２６に供給する。空間クラス検出回路１２６は、空間クラスタップのデータとしての各画素データに対してADRC符号化処理を施して空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードQiを、上述の式（１）の演算により求めて、クラス合成回路１２８に供給する。
【０１０２】
また、第３のタップ選択回路１２５は、バッファメモリ１１３に記憶されている入力画像信号Ｖinとしての525i信号より作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する動きクラスタップのデータ（画素データ）を選択的に取り出して、動きクラス検出回路１２７に供給する。この場合、第３のタップ選択回路１２５は、レジスタ１３５より供給される、ユーザによってボタン１９が奏されることによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１０３】
動きクラス検出回路１２７は、動きクラスタップのデータとしての各画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVを演算により求め、クラス合成回路１２８に供給する。
【０１０４】
以上の処理により、動き情報MVと上述した再量子化コードQiはクラス合成回路１２８に供給される。クラス合成回路１２８は、動き情報MVと再量子化コードQiに基づいて、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック毎にその単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードCLを上述した式（３）を演算することにより順次求め、係数メモリ１３６および正規化係数メモリ１４０に読み出しアドレス情報として供給する。
【０１０５】
ステップＳ９において、係数メモリ１３６は、クラス合成回路１２８より供給されたクラスコードCLを読み出しアドレス情報に基づいて、クラスコードCLに対応した係数データWiを読み出し、推定予測演算回路１２９に供給する。
【０１０６】
ステップＳ１０において、推定予測演算が実行され、画素に所定の処理が施された後、出力し、その処理は、ステップＳ５に戻る。
【０１０７】
すなわち、第１のタップ選択回路１２３は、入力画像信号Ｖinとしての525i信号より作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する予測タップのデータ（画素データ）xiを選択的に取り出し、推定予測演算回路１２９に供給する。この場合、第１のタップ選択回路１２３は、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップを選択する。
【０１０８】
さらに、推定予測演算回路１２９は、予測タップのデータxiと、係数メモリ１３６より読み出される係数データWiとに基づいて、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙPを、上述した式（４）を用いて同時に演算し、順次出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙPを正規化演算回路１３０に供給する。
【０１０９】
また、正規化係数メモリ１４０は、クラス合成回路１２８より供給された読み出しアドレス情報としてのクラスコードCLに基づいて、正規化係数Ｓ、すなわち推定予測演算回路１２９より出力されるデータｙ1乃至ｙPの演算に使用された係数データWiに対応した正規化係数Ｓを読み出して正規化演算回路１３０に供給する。正規化演算回路１３０は、推定予測演算回路１２９より出力されるデータｙ1乃至ｙPをそれぞれ対応する正規化係数Ｓで除算して正規化する。この処理により、上述した式（５）の係数種データの生成式で、式（４）の推定式の係数データが求められる際に生じる丸め誤差によるデータｙ1乃至ｙPのレベル変動が除去される。
【０１１０】
このように正規化演算回路１３０は、順次出力される単位画素ブロック内の各画素のデータｙ1′乃至ｙP′を正規化して後処理回路１３１に供給する。後処理回路１３１は、データｙ1′乃至ｙP′が第１乃至第３の変換方法によって特定されるフォーマットで出力画像信号Ｖoutを出力し、例えば、第１の変換方法が選択されている場合には1080i信号を出力し、第２の変換方法が選択されている場合にはXGA信号を出力し、さらに第３の変換方法が選択されている場合には525i信号を出力する。
【０１１１】
上述したように、係数生成回路１３８は、情報メモリバンク１３７よりロードされる各クラスの係数種データ、並びに、水平垂直位相情報発生回路１４１で発生される空間パラメータph，pv、画質情報発生回路１４２で発生される画質パラメータrh，rv、および、フレーム位相情報発生回路１４３により発生されるフレーム位相値tの値とをそれぞれ用い、クラス毎に、水平垂直位相情報発生回路１４１で発生される空間パラメータph，pv、画質情報発生回路１４２で発生される画質パラメータrh，rv、および、フレーム位相情報発生回路１４３により発生されるフレーム位相値tの値に対応した推定式の係数データWiを生成し、係数メモリ１３６に格納する。そして、係数メモリ１３６は、クラスコードCLに基づいて係数データWiを決定し、推定予測演算回路１２９が、この係数データWiを用いて、出力画像信号Voutを構成する単位画素ブロック内の各画素のデータｙ1乃至ｙPを演算する。したがって、1080i信号やXGA信号へのフォーマット変換、さらには種々の画像サイズへの変換を行う場合に大量の係数データを格納しておくメモリを省略することが可能となる。
【０１１２】
また、ステップＳ１において、ボタン１５が操作されて、停止ボタンが操作されたと判定された場合、その処理は、ステップＳ１１に進む。
【０１１３】
ステップＳ１１において、フレーム選択回路１２２は、システムコントローラ３のつまみ１６ａ，１６ｂのそれぞれの位置の情報に基づいて、画像メモリ１２１の先頭フレームFSと終了フレームFEの位置を確認する。
【０１１４】
ステップＳ１２において、フレーム位相情報発生回路１４３は、システムコントローラ３のつまみ１７の操作情報に基づいて、生成しようとする次のフレームまでのフレーム位相値を計算する。
【０１１５】
ここで、フレーム位相値tについて説明する。例えば、つまみ１７が操作されることにより、スロー再生が設定された場合、既存のフレームのみを用いてスロー再生させると、１フレームの表示時間を長くして表示することになるため、既存のフレームに対して、その間に新たなフレームを生成することで、なめらかなスロー再生を可能にする。
【０１１６】
このとき、上述したフレーム位相値を用いて、新たに生成されるフレームの、既存のフレームに対する位置を設定する。より具体的には、フレーム位相値とは、生成しようとするフレームの位置を示すものであり、生成しようとするフレームの前後の(画像メモリ１２１上に存在する)フレームに対する相対的な位置を表すものである。例えば、図５デ示されるように、既存の画像メモリ１２１に記憶されたフレームAとフレームBの間に新たにフレームxを生成する場合、フレームAが撮影された時刻を時刻tA、フレームBが撮影された時刻をtBとし、生成しようとするフレームの時刻をtx(tA ≦ tx ＜ tB)とすると、フレームxのフレーム位相値は（tx−tA）／（tB−tA）となる。
【０１１７】
例えば、つまみ１７が操作されて、０．５倍速再生が指定された場合、フレーム位相情報発生装置１４３は、それまでのフレームレートを倍にすることで、滑らかな再生が可能となるので（通常のフレームレートと同程度のフレームレートで０．５倍速再生を実現できるので）、既知のフレームに対する生成されるフレームのフレーム位相値tは、０．５となる。
【０１１８】
ステップＳ１３において、上述したステップＳ２と同様に、各種のパラメータである係数ph，pv，rh，rv，tが生成される。ただし、フレーム位相値tについては、ステップＳ１２において、計算された値が発生されることになる。
【０１１９】
ステップＳ１４において、これから処理しようとするフレームが、画像メモリ１２１に記憶されている最終フレームであるか否かを判定し、最終フレームではないと判定された場合、その処理は、ステップＳ１５に進む。
【０１２０】
ステップＳ１５において、上述したステップＳ４と同様に、係数種データから係数データが生成される。
【０１２１】
ステップＳ１６において、フレーム選択回路１２２は、バッファメモリ１１３より供給されてくる画像信号を停止させて、画像メモリ１２１に記憶されている画像信号を読み出す。より詳細には、フレーム選択回路１２２は、上述した先頭フレームFSから終了フレームFEのいずれかを順次、画像処理のタイミングに併せて読み出す。
【０１２２】
ステップＳ１７において、フレーム選択回路１２２は、１フレーム分の画素が処理されたか否かを判定し、１フレーム分の画素が処理されたと判定された場合、その処理は、ステップＳ１２に戻る。また、ステップＳ１７において、１フレーム分の画素が処理されていないと判定されていないと判定された場合、その処理は、ステップＳ１８に進む。
【０１２３】
尚、ステップＳ１８乃至Ｓ２０の処理は、上述したステップＳ８乃至Ｓ１０と同様であるので、その説明は省略する。
【０１２４】
ステップＳ１４において、最終フレームであると判定された場合、ステップＳ２１において、フレーム選択回路１２２は、ボタン１５が操作されることなく停止ボタンが解除されていないと判定された場合、その処理は、ステップＳ１１に戻る。すなわち、ボタン１５が操作されて、停止ボタンが解除されるまで、ステップＳ１２乃至Ｓ２０の処理が繰り返されて、つまみ１６ａ，１６ｂで設定された時刻間の、画像メモリ１２１に記憶されている画像信号が、つまみ１７で設定された再生速度で、繰り返し、再生されることになる。
【０１２５】
そして、ステップＳ２１において、ボタン１５が再度操作されて、停止ボタンが解除されたと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【０１２６】
以上の処理により、所望とするシーンの画像信号を、画像中の位置を中心として、所望の画質で、さらに、所望の再生速度でなめらかに表示することが可能となる。
【０１２７】
次に、係数種データについて説明する。
【０１２８】
上述したように、係数種データは、クラス毎に情報メモリバンク１３７に記憶されている。係数種データは、予め学習によって生成されたものである。
【０１２９】
まず、この生成方法の一例について説明する。式（５）で示される生成式における係数データである係数種データｗ100乃至ｗn10を求める例を示すものとする。ここで、以下の説明のため、式（７）のように、Ti（ｉ＝00乃至10）を定義する。
T00＝１，T01＝pv，T02＝ph，T03＝rv，T04＝rh，T05＝t，T06＝（pv）2，T07＝（ph）2，T08＝（rv）2，T09＝（rh）2，T10＝（t）2
・・・（７）
この式（７）を用いると、式（５）は、式（８）のように書き換えられる。
【０１３０】
【数６】
2005159830.tif 000008
・・・（８）
【０１３１】
最終的に、学習によって未定係数ｗjiが求められる。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値が決定される。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、式（４）および式（５）を用いて、Ｅは以下の式（９）で表される。ここで、ｘikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応する教師画像のｋ番目の画素データを表している。
【０１３２】
【数７】
2005159830.tif 000009
・・・（９）
【０１３３】
最小二乗法による解法では、式（９）のｗjiによる偏微分方程式が０になるようなｗjiを求める。すなわち、以下で示す式（１０）のような偏微分方程式からWjiが求められる。
【０１３４】
【数８】
2005159830.tif 000010
・・・（１０）
【０１３５】
以下、式（１１），式（１２）のように、Ｘipjq、Ｙipを定義すると、式（１０）は、行列を用いて式（１３）のように書き換えられる。
【０１３６】
【数９】
2005159830.tif 000011
・・・（１１）
【０１３７】
【数１０】
2005159830.tif 000012
・・・（１２）
【０１３８】
【数１１】
2005159830.tif 000013
・・・（１３）
【０１３９】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗxyについて解かれ、係数種データが算出される。
【０１４０】
図６は、上述した係数種データの生成方法の概念を示している。教師信号としての高速度撮影HD信号（1050i信号）と、生徒信号としてのSD信号（525i信号）との関係から、パラメータph，pv，rh，rv，tで表現される係数Wjの各係数Wjiが係数種データとして求められる。
【０１４１】
図６においては、高速度撮影されたHD信号のフレーム位相値ｔ１乃至ｔ６の６段階について生徒画像が設定されている。すなわち、通常のフレームレートは、1/60（フレーム／秒）であるが、高速度撮影により、例えば、図７で示されるように、通常のフレームレートの6倍のフレームレートで撮影する。
【０１４２】
そして、6フレーム毎に生徒信号を設定し、それ以外のフレームを教師信号とすることにより、図７の場合、生徒信号間のフレーム位相値tが1/6となる教師信号ｔ２、フレーム位相値が2/6となる教師信号ｔ３、フレーム位相値tが3/6となる教師信号ｔ４、フレーム位相値が4/6となる教師信号ｔ５、フレーム位相値tが5/6となる教師信号ｔ６のそれぞれの画素値データを用いることにより、フレーム位相値tを1/6間隔で係数種データを生成することができる。尚、フレーム位相値tが0/6となる生徒信号（図７中の生徒信号ｔ１に対応する）については、既存のフレームの画像処理に関するものであるので、フレーム位相値tが0/6の画像信号間で、生徒信号と教師信号に基づいて学習が行われる。
【０１４３】
さらに、各フレーム位相値tについて、画質パラメータについては、例えば、図６中で示されるように、ノイズの低減レベルを示すパラメータrh（rh1乃至rh8）と鮮鋭度を示すrv（rv1乃至rv4）について合計３２種類の生徒信号が設定される。
【０１４４】
また、図６においては、各画質パラメータ毎に、空間パラメータが水平方向のパラメータphと垂直方向のパラメータとしてpvがそれぞれ８段階と４段階設定されており、合計３２種類のSD信号が生成される。
【０１４５】
図８は、525i信号と1050i信号の画素位置関係を示している。ここで、大きなドットが525i信号の画素であり、小さなドットが1050i信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【０１４６】
このSD信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、８×４＝３２種類のSD信号を生成する。図９は、垂直方向への８段階の位相シフト状態V1乃至V8を示している。ここでは、SD信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「o」は奇数フィールドを、「e」は偶数フィールドを表している。
【０１４７】
V1の状態はSD信号のシフト量が0とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、４，０，−４，−８の位相を持つようになる。V2の状態はSD信号のシフト量が１とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、７，３，−１，−５の位相を持つようになる。V3の状態はSD信号のシフト量が２とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、６，２，−２，−６の位相を持つようになる。V4の状態はSD信号のシフト量が３とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１４８】
V5の状態はSD信号のシフト量が４とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、４，０，−４，−８の位相を持つようになる。V6の状態はSD信号のシフト量が５とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、７，３，−１，−５の位相を持つようになる。V7の状態はSD信号のシフト量が６とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、６，２，−２，−６の位相を持つようになる。V8の状態はSD信号のシフト量が７とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１４９】
図１０は、水平方向への４段階の位相シフト状態Ｈ１乃至Ｈ４を示している。ここでは、SD信号の水平方向の画素間隔は８であり、右方向が正の方向とされている。
【０１５０】
H1の状態はSD信号のシフト量が０とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、０，−４の位相を持つようになる。H2の状態はSD信号のシフト量が１とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、３，−１の位相を持つようになる。H3の状態はSD信号のシフト量が２とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、２，−２の位相を持つようになる。さらに、H4の状態はSD信号のシフト量が３とされたものであり、この場合、HD信号の画素は、SD信号の画素に対して、１，−３の位相を持つようになる。
【０１５１】
図１１は、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた３２種類のSD信号に関し、SD信号の画素を中心にした場合のHD信号の画素の位相を示している。すなわち、SD信号の画素に対して、HD信号の画素は、図中の黒丸印で示す位相を持つようになる。
【０１５２】
図６に戻って、上述したようにフレーム位相値tについて６段階、画質パラメータとしてノイズの低減レベルrvについて８段階、鮮鋭度のレベルrhについて４段階、空間パラメータとして、垂直方向pvに８段階、水平方向phに４段階にシフトさせて得られた合計6144（＝6×32×32）種類のSD信号とHD信号との間で学習が行われることにより、係数種データが生成される。
【０１５３】
図１２は、図６を参照して説明した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。この係数種データ生成装置１５０のSD信号生成回路１５２は、教師信号としての高速度撮影HD信号（1050i信号）が入力端子１５１に入力されると、この高速度撮影HD信号に対して水平および垂直の間引き処理を行って、入力信号としてのSD信号を生成し、空間位相シフト回路１５３に供給する。
【０１５４】
空間位相シフト回路１５３は、垂直方向および水平方向への位相シフト値を指定するパラメータph，pvを変化させて、SD信号生成回路１５２より供給されるSD信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、合計３２種類のSD信号を生成し、ノイズ鮮鋭度シフト回路１５４に供給すると共に、そのパラメータph，pvを正規方程式生成部１６２に供給する。尚、空間位相シフト回路１５３は、例えばsinｘ／ｘの特性のフィルタで構成するようにしてもよいし、その他の位相シフトが可能な別のフィルタを用いてもよい。さらに、他のフィルタ例として、オーバーサンプリングフィルタから欲しい位相だけ抜き出す方法等が挙げられる。
【０１５５】
ノイズ鮮鋭度シフト回路１５４は、画質を改善させる強度であるノイズ低減レベル、および、鮮鋭度のレベルのシフト値を指定するパラメータrh，rvを変化させて、空間位相シフト回路１５３より供給されるSD信号の鮮鋭度のレベルのシフト値を指定するパラメータrvに８段階、ノイズ低減レベルのパラメータrhを４段階にシフトさせて、合計３２種類のSD信号を生成し、第１乃至第３のタップ選択回路１５５乃至１５７に供給すると共に、そのパラメータrh，rvを正規方程式生成部１６２に供給する。より詳細には、ノイズ鮮鋭度シフト回路１５４は、ノイズのレベルのパラメータrhに応じて、空間位相シフト回路１５３より供給されるSD信号に４段階のレベルのノイズを付加すると共に、鮮鋭度のレベルを示すパラメータrvに応じて８段階の強度でLPF（Low Pass Filter）処理を施し、鮮鋭度を変化させる。
【０１５６】
第１乃至第３のタップ選択回路１５５乃至１５７は、空間位相シフト回路１５３より出力される３２種類のSD信号より、HD信号（1050i信号）に係る注目画素の周辺に位置する複数のSD画素のデータを選択的に取り出して、それぞれ、正規方程式生成部１６２、空間クラス検出回路１５９、および、動きクラス検出回路１６０に出力する。
【０１５７】
尚、これら第１乃至第３のタップ選択回路１５５乃至１５７は、上述した信号処理部１２０の第１乃至第３のタップ選択回路１２３乃至１２５と同様のものである。これら第１乃至第３のタップ選択回路１５７乃至１５７で選択されるタップは、タップ選択制御回路１５８からのタップ位置情報によって指定される。
【０１５８】
タップ選択制御回路１５８は、フレーム位相値ｔを変化させながら対応するフレームよりタップを抽出するように、第１乃至第３のタップ選択回路１５５乃至１５７を制御すると共に、後述する動きクラス検出回路１６０より出力される動きクラスのクラス情報MVに基づいて、第３のタップ選択回路１５７で選択されるタップ位置情報が動きが大きいか小さいかによって異なるタップを選択させるように第２のタップ選択回路１５６を制御する。
【０１５９】
空間クラス検出回路１５９は、第２のタップ選択回路１５６で選択的に取り出される空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報をクラス合成回路１６１に出力する。この空間クラス検出回路１５９は、上述した信号処理部１２０の空間クラス検出回路１２６と同様のものである。この空間クラス検出回路１５９からは、空間クラスタップのデータとしての各SD画素データ毎の再量子化コードQiが空間クラスを示すクラス情報として出力される。
【０１６０】
動きクラス検出回路１６０は、第３のタップ選択回路１５７で選択的に取り出される動きクラスタップのデータ（SD画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する。この動きクラス検出回路１６０は、上述した信号処理部１２０の動きクラス検出回路１２７と同様に構成される。この動きクラス検出回路１６０では、第３のタップ選択回路１５７で選択的に取り出される動きクラスタップのデータ（SD画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対して閾値処理が行われて動きの指標である動きクラスが検出される。
【０１６１】
クラス合成回路１６１は、空間クラス検出回路１５９より出力される空間クラスのクラス情報としての再量子化コードQiと、動きクラス検出回路１６０より出力される動きクラスのクラス情報MVに基づき、HD信号（1050i信号）に係る注目画素が属するクラスを示すクラスコードCLを生成して正規方程式生成部１６２に出力する。このクラス合成回路１６１も、上述した信号処理部１２０のクラス合成回路１２８と同様のものである。
【０１６２】
正規方程式生成部１６２は、入力端子１５１に供給されるHD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLと、フレーム位相値tのパラメータ、画質パラメータとしてノイズの低減レベルrv、鮮鋭度のレベルrh、空間パラメータとして、垂直方向pv、水平方向phとから、各クラス毎に、係数種データｗ100乃至ｗn10を得るための、上述した式（１３）で示される正規方程式を生成する。
【０１６３】
この場合、一個のHD画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、空間位相シフト回路１５３へのパラメータph，pvが順次変更されていって水平および垂直の位相シフト値が段階的に変化した３２種類のSD信号が順次生成されていき、さらに、ノイズ鮮鋭度シフト回路１５４へのパラメータrh，rvが順次変更されていってノイズ、および、鮮鋭度のシフト値が段階に変化した３２種類のSD信号が順次生成される。さらに、タップ選択制御回路１５８へのパラメータであるフレーム位相値tが順次変更されて、フレーム位相値について6段階に変化して6種類のフレーム位相値に対応したタップを抽出するように、第１乃至第３のタップ選択回路１５５乃至１５７が制御される。
【０１６４】
これにより正規方程式生成部１６２は、多くの学習データが登録された正規方程式が生成され、SD信号を順次生成して学習データを登録することで、任意の空間位相、ノイズ鮮鋭度、および、フレーム位相値の画素データを得るための係数種データを求めることが可能となる。
【０１６５】
なお、図示せずも、第１のタップ選択回路１５５の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５５から正規方程式生成部１６２に供給されるSD画素データxiのタイミング合わせを行うことができる。
【０１６６】
係数種データ決定部１６３は、正規方程式生成部１６２により供給されるクラス毎に生成された正規方程式をクラス毎に解いて、各クラスの係数種データｗ100乃至ｗn10を求め、係数種メモリ１６４に、求めた係数種データｗ100乃至ｗn10を記憶させる。係数種データ決定部１６３は、正規方程式を、例えば掃き出し法などにより係数データｗ100乃至ｗn10を求める。
【０１６７】
次に、図１３のフローチャートを参照して、図１２に示す係数種データ生成装置１５０の動作を説明する。
【０１６８】
ステップＳ３１において、タップ選択制御回路１５８は、フレーム位相値tを選択する。すなわち、図６の例においては、フレーム位相値tは、6段階に変化させるため、未処理のフレーム位相値が選択される。
【０１６９】
ステップＳ３２において、ノイズ鮮鋭度シフト回路１５４は、ノイズ鮮鋭度シフト値である、ノイズの低減レベルのパラメータrhおよび鮮鋭度のレベルを示すパラメータrvの値の３２種類の組み合わせの中から未処理の組み合わせを選択する。
【０１７０】
ステップＳ３３において、空間位相シフト回路１５３は、空間位相の水平方向のパラメータであるph、および、垂直方向のパラメータであるpvの値の３２種類の組み合わせの中から未処理の組み合わせを選択する。
【０１７１】
ステップＳ３４において、空間位相シフト回路１５３は、空間位相シフト値のパラメータph，pvの全ての組み合わせについて処理が終了したか否かを判定し、例えば、全ての組み合わせについて処理が終了していないと判定された場合、その処理は、ステップＳ３５に進む。
【０１７２】
ステップＳ３５において、SD信号生成回路１５２および正規方程式生成部１６２は、既知のHD画素データの入力を受け付ける。
【０１７３】
ステップＳ３６において、SD信号生成回路１５２は、空間パラメータの１つの組み合わせについての全HD画素データを処理したか否かを判定し、空間パラメータの１つの組み合わせについての全HD画素データの処理が終了していないと判定した場合、その処理は、ステップＳ３７に進み、空間パラメータの１つの組み合わせの全HD画素データについて処理が終了したと判定されると、その処理は、ステップＳ３３に戻る。
【０１７４】
ステップＳ３７において、HD信号からSD信号が生成され、さらに、空間パラメータ、および、画質パラメータに基づいた処理が施される。
【０１７５】
より詳細には、SD信号生成回路１５２は、入力端子１５１より供給された教師信号としての高速度撮影HD信号（1050i信号）に対して水平および垂直各画素に対して、間引き処理を実行して生徒信号としてSD信号（525i信号）を生成し、空間位相シフト回路１５３に供給する。
【０１７６】
また、空間位相シフト回路１５３は、ステップＳ３３の処理で選択された、空間パラメータph，pvに基づいて、このSD信号の位相を垂直方向に８段階、および、水平方向に４段階の、すなわち、３２種類のいずれかに対応するSD信号を生成する。
【０１７７】
さらに、ノイズ鮮鋭度シフト回路１５４は、ステップＳ３２の処理で選択された、画質パラメータrh，rvに基づいて、このSD信号のノイズ低減レベルについて８段階、および、鮮鋭度のレベルについて４段階の、すなわち、３２種類のいずれかのSD信号を生成する。
【０１７８】
すなわち、空間位相シフト回路１５３、および、ノイズ鮮鋭度シフト回路１５４により、１０２４種類のSD信号が生成されることになる。
【０１７９】
ステップＳ３８において、空間クラス、または、動きクラスを求めるために必要な画素の画素値を取得する、すなわち、空間クラスタップとなる画素の画素値と、動きクラスタップとなる画素の画素値が取得される。
【０１８０】
より詳細には、第２のタップ選択回路１５６は、ノイズ鮮鋭度シフト回路１５４より供給される、1024種類のうちのいずれかのSD信号より、HD信号に係る注目画素の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。すなわち、第２のタップ選択回路１５６は、タップ選択制御回路１５８より供給される、動きクラス検出回路１６０で検出される動きクラスに対応したタップ位置情報に基づいて、タップを選択し、選択されたタップに対応する画素の画素値を空間クラス検出回路１５９に供給する。
【０１８１】
ステップＳ３９において、係数種データ決定部１６３は、入力された１フレーム分の学習が終了したか否かを判定し、例えば、まだ、１フレーム分の学習が終了していないと判定した場合、その処理は、ステップＳ４０に進む。
【０１８２】
ステップＳ４０において、クラスコードCLが生成される。
【０１８３】
より詳細には、空間クラス検出回路１５９が、空間クラスタップのSD画素データに対してADRC符号化処理を実行し、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードQiを式（１）を演算することにより求める。
【０１８４】
また、第３のタップ選択回路１５７は、タップ選択制御回路１５８より供給されるタップ位置情報に基づいて、ノイズ鮮鋭度シフト回路１５４より供給される1024種類のSD信号より、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ（SD画素データ）を選択的に取り出し、動きクラス検出回路１６０に供給する。
【０１８５】
動きクラス検出回路１６０は、動きクラスタップのデータとしての各SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVを計算する。
【０１８６】
さらに、クラス合成回路１６１は、この動き情報MVと上述した再量子化コードQiとから、HD信号に係る注目画素が属するクラスを示すクラスコードCLを、上述した式（３）を演算することにより求める。
【０１８７】
ステップＳ４１において、クラスを示すクラスコードCLに基づいて、正規方程式が生成され、その処理は、ステップＳ３８に戻る。
【０１８８】
より詳細には、第１のタップ選択回路１５５は、タップ選択制御回路１５８より供給されるタップ位置情報に基づいて、ノイズ鮮鋭度シフト回路１５４より供給されるSD信号より、HD信号に係る注目画素の周辺に位置する予測タップのデータ（SD画素データ）を選択的に取り出し、正規方程式生成部１６２に供給する。
【０１８９】
正規方程式生成部１６２は、入力端子１５１に供給される高速度撮影HD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出された予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのそれぞれのパラメータに基づいて、各クラス毎に、係数種データｗ100乃至ｗn10を生成するために、上述した式（１３）で示される正規方程式を生成する。
【０１９０】
そして、ステップＳ３９において、１フレーム分の学習が終了したと判定されるまで、ステップＳ３８乃至Ｓ４１の処理が繰り返され、ステップＳ３９において、入力された１フレーム分の学習が終了したと判定された場合、その処理は、ステップＳ３５に戻り、新たなフレームについて既知のHD画素データが入力される。
【０１９１】
ステップＳ３４において、空間位相シフト回路１５３は、空間位相シフト値のパラメータph，pvの全ての組み合わせについて処理が終了したと判定された場合、その処理は、ステップＳ４２に進む。
【０１９２】
ステップＳ４２において、ノイズ鮮鋭度シフト回路１５２は、ノイズ鮮鋭度シフト値のパラメータrh，rvの全ての組み合わせについて処理が終了したか否かを判定し、例えば、全ての組み合わせについて処理が終了していないと判定された場合、その処理は、ステップＳ３２に戻り、未処理のノイズ鮮鋭度シフト値のパラメータrh，rvについて処理が繰り返される。そして、ステップＳ４２において、全ての組み合わせについて処理が終了していると判定された場合、その処理は、ステップＳ４３に進む。
【０１９３】
ステップＳ４３において、タップ選択制御回路１５８は、フレーム位相値tの全てについて処理が終了したか否かを判定し、例えば、全てのフレーム位相値tについて処理が終了していないと判定された場合、その処理は、ステップＳ３１に戻り、未処理のフレーム位相値tについて処理が繰り返される。そして、ステップＳ４３において、全てのフレーム位相値tについて処理が終了していると判定された場合、その処理は、ステップＳ４４に進む。
【０１９４】
すなわち、以上の処理により、全てのフレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および水平方向phに対応する正規方程式が生成されることになる。
【０１９５】
ステップＳ４４において、係数種データ決定部１６３は、係数種データを求め、ステップＳ４５において、係数種メモリ１６４に、その係数種データを記憶させる。
【０１９６】
より詳細には、係数種データ決定部１６３は、以上の処理により生成された正規方程式を解いて、各クラス毎の係数種データｗ100乃至ｗn10を求め、その係数種データｗ100乃至ｗn10をクラス別にアドレス分割された係数種メモリ１６４に記憶される。
【０１９７】
以上の処理により、図１２で示される係数種データ生成装置１５０は、図２の信号処理部１２０の情報メモリバンク１３７に記憶される各クラスの係数種データｗ100乃至ｗn10を生成する。
【０１９８】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した式（５）の生成式における係数データである係数種データｗ100乃至ｗn10を求める例を示すものとする。
【０１９９】
図１４は、この例の概念を示している。上述した係数種データの生成方法の一例と同様に、フレーム位相値tのパラメータ、画質パラメータとしてノイズの低減レベルrv、鮮鋭度のレベルrh、空間パラメータとして、垂直方向pv、水平方向phによってフレーム位相値tについて６段階、画質パラメータとしてノイズの低減レベルrvについて８段階、鮮鋭度のレベルrhについて４段階、空間パラメータとして、垂直方向pvに８段階、水平方向phに４段階にシフトさせて得られた合計6144（＝6×32×32）種類のSD信号を順次生成する。そして、各SD信号とHD信号との間で学習を行い、式（４）の推定式の係数データWiを生成する。そして、各SD信号に対応して生成された係数データWiを使用して係数種データを生成する。
【０２００】
まず、推定式の係数データの求め方を説明する。ここでは、式（４）の推定式の係数データWi(ｉ＝１乃至ｎ)を最小二乗法により求める例を示すものとする。一般化した例として、Xを入力データ、Wを係数データ、Yを予測値として、以下のように示す式（１４）の観測方程式を考える。この式（１４）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０２０１】
【数１２】
2005159830.tif 000014
・・・（１４）
【０２０２】
式（１４）の観測方程式により収集されたデータに最小二乗法を適用する。この式（１４）の観測方程式をもとに、式（１５）の残差方程式を考える。
【０２０３】
【数１３】
2005159830.tif 000015
・・・（１５）
【０２０４】
式（１５）の残差方程式から、各Ｗiの最確値は、式（１６）のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、式（１７）の条件を考慮すればよいことになる。
【０２０５】
【数１４】
2005159830.tif 000016
・・・（１６）
【０２０６】
【数１５】
2005159830.tif 000017
・・・（１７）
【０２０７】
つまり、式（１７）のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、式（１７）の残差方程式から、式（１８）が得られる。さらに、式（１８）と式（１４）とから、式（１９）が得られる。
【０２０８】
【数１６】
2005159830.tif 000018
・・・（１８）
【０２０９】
【数１７】
2005159830.tif 000019
・・・（１９）
【０２１０】
そして、式（１５）と式（１９）とから、式（２０）の正規方程式が得られる。
【０２１１】
【数１８】
2005159830.tif 000020
・・・（２０）
【０２１２】
式（２０）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。
【０２１３】
次に、各SD信号に対応して生成された係数データを使用しての係数種データの求め方を説明する。パラメータph，pv，rh，rv，tに対応したSD信号を用いた学習による、あるクラスの係数データが、ｋ(ph)(pv)(rh)(rv)(t)iとなったとする。ここで、ｉは予測タップの番号である。このｋ(ph)(pv)(rh)(rv)(t)iから、このクラスの係数種データを求める。
【０２１４】
各係数データＷi（ｉ＝１乃至ｎ）は、係数種データｗ100乃至ｗn10を使って、上述した式（５）で表現される。ここで、係数データＷiに対して最小二乗法を使用することを考えると、残差は、以下の式（２１）で示される。
【０２１５】
【数１９】
2005159830.tif 000021
・・・（２１）
【０２１６】
ここで、ｔjは、上述の式（７）に示されている。式（２１）に最小二乗法を作用させると、式（２２）が得られる。
【０２１７】
【数２０】
2005159830.tif 000022
・・・（２２）
【０２１８】
ここで、Ｘjk，Ｙjをそれぞれ式（２３）、式（２４）のように定義すると、式（２２）は式（２５）のように書き換えられる。この式（２５）も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ100乃至ｗn10を算出することができる。
【０２１９】
【数２１】
2005159830.tif 000023
・・・（２３）
【０２２０】
【数２２】
2005159830.tif 000024
・・・（２４）
【０２２１】
【数２３】
2005159830.tif 000025
・・・（２５）
【０２２２】
図１５は、図１４に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０の構成を示している。この図１５において、図１２と対応する部分には同一の番号を付しており、その説明は適宜省略するものとする。
【０２２３】
正規方程式生成部１７１は、入力端子１５１に供給されるHD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLとから、クラス毎に、係数データWi（ｉ＝１乃至ｎ）を得るための上述の式（２０）で示される正規方程式を生成する。
【０２２４】
この場合、一個のHD画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、フレーム位相値tについて６段階、画質パラメータとしてノイズの低減レベルrvについて８段階、鮮鋭度のレベルrhについて４段階、空間パラメータとして、垂直方向pvに８段階、水平方向phに４段階にシフトさせて得られた合計6144（＝6×32×32）種類のSD信号が順次生成されていき、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１は、各SD信号のそれぞれ対応して、クラス毎に、係数データWi（ｉ＝１乃至ｎ）を得るための正規方程式を生成し、係数データ決定部１７２に供給する。
【０２２５】
係数データ決定部１７２は、正規方程式生成部１７１より供給された正規方程式を解いて、各SD信号にそれぞれ対応した各クラスの係数データWiを求め、正規方程式生成部１７３に供給する。正規方程式生成部１７３は、係数データ決定部１７２より供給される各SD信号に対応した各クラスの係数データWiを使用して、クラス毎に、係数種データｗ100乃至ｗn10を得るための上述した式（２５）で示される正規方程式を生成し、係数種データ決定部１７４に供給する。
【０２２６】
係数種データ決定部１７４は、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのパラメータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ100乃至ｗn10を求め、この求められた係数種データｗ100乃至ｗn10を係数種メモリ１７５に記憶させる。
【０２２７】
次に、図１６のフローチャートを参照して、図１５に示す係数種データ生成装置１５０による学習処理について説明する。尚、図１６のフローチャートにおけるステップＳ６１乃至Ｓ６６，Ｓ６８乃至Ｓ７１，Ｓ７３、および、Ｓ７４の処理は、図１３のフローチャートにおけるステップＳ３１乃至Ｓ４０，Ｓ４２、および、Ｓ４３の処理と同様であるので、その説明は省略する。
【０２２８】
ステップＳ７２において、正規方程式生成部１７１は、入力端子１５１に供給されるHD信号より得られる注目画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータ（SD画素データ）xiと、各HD画素データｙにそれぞれ対応してクラス合成回路１６１より出力されるクラスコードCLとから、ノイズ鮮鋭度シフト回路１５４で生成される各SD信号のそれぞれ対応して、クラス毎に、係数データWi（ｉ＝１乃至ｎ）を得るための上述した式（２０）である単独の正規方程式を生成する。
【０２２９】
ステップＳ６７において、係数データ決定部１７２は、１つの空間位相シフト値であるパラメータpv，phの組み合わせについて、ステップＳ７２の処理により生成された単独の正規方程式を解いて、各SD信号にそれぞれ対応した各クラスの係数データWiを求める。
【０２３０】
ステップＳ７５において、正規方程式生成部１７３は、各SD信号にそれぞれ対応した各クラスの係数データWiと、フレーム位相値t、ノイズの低減レベルrv、鮮鋭度のレベルrh、垂直方向pv、および、水平方向phのそれぞれのパラメータに基づいて、クラス毎に、係数種データｗ100乃至ｗn10を得るための上述した式（２５）の正規方程式を生成する。
【０２３１】
ステップＳ７６において、係数種データ決定部１７４は、ステップＳ７５の処理により生成された正規方程式を解いて、各クラスの係数種データｗ100乃至ｗn10を求め、ステップＳ７７において、その係数種データｗ100乃至ｗn10をクラス別にアドレス分割された係数種メモリ１７５に記憶させる。
【０２３２】
このように、図１５に示す係数種データ生成装置１５０においても、図２の信号処理部１２０の情報メモリバンク１３７に記憶される各クラスの係数種データｗ100乃至ｗn10を生成することができる。
【０２３３】
なお、図１の信号処理部１２０では、係数データWi（ｉ＝１乃至ｎ）を生成するために式（５）の生成式を使用したが、例えば、式（２６），式（２７）などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２３４】
【数２４】
2005159830.tif 000026
・・・（２６）
【０２３５】
【数２５】
2005159830.tif 000027
・・・（２７）
【０２３６】
なお、以上においては、HD信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２３７】
また、以上においては、クラスコードCLを検出し、推定予測演算ではこのクラスコードに応じた係数データWiを使用するものを示したが、クラスコードCLの検出部分を省略したものも考えられる。その場合には、情報メモリバンク１３７に格納される係数種データは１種類のみとなる。
【０２３８】
さらに、上述実施の形態においては、信号処理部１２０より出力される出力画像信号Ｖoutをディスプレイ２に供給して、その出力画像信号Ｖoutによる画像を表示するものを示したが、この出力画像信号Ｖoutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路１３１の部分で、記録に最適なデータ構造となるように処理してもよい。
【０２３９】
また、以上においては、入力画像信号Ｖinとしての525i信号を、出力画像信号Ｖoutとしての1080i信号、XGA信号、あるいは倍率の異なる表示画像を得るための525i信号に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２４０】
さらに、井尾受においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０２４１】
本発明によれば、第１の情報信号を第２の情報信号に変換する際に、フォーマットまたはサイズの変換情報より第２の情報信号に係る注目点の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用して第２の情報信号に係る注目点の情報データを求め、かつ、再生速度を変化させても、対応するフレーム位相値に基づいて、新たにフレームを生成するようにしたので、再生速度を変化させながら、種々のフォーマットまたはサイズへの変換を行って画像を表示するようにしても、滑らかな画像を表示させることが可能になると共に、このような処理において、大量の係数データを係数種データとして格納しておくことができ、係数メモリの容量を節約することできるので、装置全体を安価に構成することが可能となる。
【０２４２】
また、本発明によれば、係数種データを用いて生成された推定式の係数データの総和を求め、推定式を用いて生成された注目点の情報データをその総和で除算して正規化するものであり、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
【０２４３】
さらに、本発明によれば、注目したいシーンの前後の動画像を注目したい位置を中心として拡大し、さらに、画質を高画質化すると共に、任意の再生速度で再生しても、滑らかな動画像になるようにすることが可能となる。
【０２４４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２４５】
図１７は、図２の信号処理部１２０、または、図１２，図１５の係数種データ生成装置１５０の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してROM(Read Only Memory) ２０２に格納されているプログラムを実行する。あるいはまた、CPU２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。これにより、上述した図２の信号処理部１２０、または、図１２，図１５の係数種データ生成装置１５０の機能が、ソフトウェアにより実現されている。さらに、CPU２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０２４６】
プログラムが記録されている記録媒体は、図１７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク２２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０２４７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０２４８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２４９】
【図１】本発明を適用した画像処理システムの位置実施の形態の構成を示す図である。
【図２】図１のシステムコントローラに内蔵される信号処理部の構成を示すブロック図である。
【図３】SD信号（525i信号）とHD信号（1080i信号）との位相関係を示す図である。
【図４】図２の信号処理部による画像処理を説明するフローチャートである。
【図５】フレーム位相値を説明する図である。
【図６】係数種データの生成方法の一例の概念を示す図である。
【図７】フレーム位相値に基づいた係数種データの生成方法の一例の概念を示す図である。
【図８】525i信号（SD信号）と1050i信号（HD信号）の画素位置関係を示す図である。
【図９】垂直方向への８段階の位相シフトを説明するための図である。
【図１０】水平方向への４段階の位相シフトを説明するための図である。
【図１１】SD信号（525i信号）とHD信号（1050i信号）との位相関係を示す図である。
【図１２】係数種データ生成装置の構成例を示すブロック図である。
【図１３】図１２の係数種データ生成装置による学習処理を説明するフローチャートである。
【図１４】係数種データの生成方法の他の例の概念を示す図である。
【図１５】係数種データ生成装置の他の構成例を示すブロック図である。
【図１６】図１５の係数種データ生成装置による学習処理を説明するフローチャートである。
【図１７】記録媒体を説明する図である。
【符号の説明】
【０２５０】
１  テレビジョン信号受信機，  ２  ディスプレイ，  ３  システムコントローラ，  １２１  画像メモリ，  １２２  フレーム選択回路，  １２３  第１のタップ選択回路，  １２４  第２のタップ選択回路，  １２５  第３のタップ選択回路，  １２６  空間クラス検出回路，  １２７  動きクラス検出回路，  １２８  クラス合成回路，  １２９  推定予測演算回路，  １３０  正規化演算回路，  １３１  後処理回路，  １３２乃至１３５  レジスタ，  １３６  係数メモリ，  １３７  情報メモリバンク，  １３８  係数生成回路，  １３９  正規化係数生成回路，  １４０  正規化係数メモリ，  １４１  位相情報発生回路，  １５０  係数種データ生成装置，  １５１  入力端子，  １５２  SD信号生成回路，  １５３  空間位相シフト回路，  １５４  ノイズ鮮鋭度シフト回路，  １５５  第１のタップ選択回路，  １５６  第２のタップ選択回路，  １５７  第３のタップ選択回路，  １５８  タップ選択制御回路，  １５９  空間クラス検出回路，  １６０  動きクラス検出回路，  １６１  クラス合成回路，  １６２  正規方程式生成部，  １６３  係数種データ決定部，  １６４  係数種メモリ，  １７１  正規方程式生成部，  １７２  係数データ決定部，  １７３  正規方程式生成部，  １７４  係数種データ決定部，  １７５  係数種メモリ
【図１】
2005159830.tif 000028
【図２】
2005159830.tif 000029
【図３】
2005159830.tif 000030
【図４】
2005159830.tif 000031
【図５】
2005159830.tif 000032
【図６】
2005159830.tif 000033
【図７】
2005159830.tif 000034
【図８】
2005159830.tif 000035
【図９】
2005159830.tif 000036
【図１０】
2005159830.tif 000037
【図１１】
2005159830.tif 000038
【図１２】
2005159830.tif 000039
【図１３】
2005159830.tif 000040
【図１４】
2005159830.tif 000041
【図１５】
2005159830.tif 000042
【図１６】
2005159830.tif 000043
【図１７】
2005159830.tif 000044