(57)【特許請求の範囲】
【請求項１】
変換前フレーム周波数を有する生徒動画像信号および変換後フレーム周波数を有する教師動画像信号とに基づいて、入力動画像信号のフレーム周波数を変換して出力動画像信号を生成するための予測係数を算出する学習装置において、
上記教師動画像信号に含まれる教師画像中に設定された注目画素に対応する上記生徒動画像信号に含まれる生徒画像の画素のフレーム間における動きベクトルを求める動きベクトル検出手段と、
上記動きベクトルを上記注目画素の位置にシフトさせ、該動きベクトルを上記動きベクトルを算出したフレームに割り振ることにより、上記生徒画像上におけるタップ中心位置を決定するタップ中心位置決定手段と、
上記タップ中心位置に基づいて、上記生徒画像から１乃至複数の画素をクラス画素群として抽出するクラス画素群取り出し手段と、
上記クラス画素群から上記タップ中心位置に対応したクラス値を算出するクラス値決定手段と、
上記タップ中心位置に基づいて、上記生徒画像から１乃至複数の画素を生徒画素群として取り出す生徒画素群取り出し手段と、
上記生徒画素群と予測係数とに基づいて予測教師画素を生成し、該予測教師画素の画素値と上記教師画素の画素値との誤差が最小になるように上記クラス値ごとに上記予測係数を算出する予測係数学習手段と、
を備える学習装置。
【請求項２】
請求項１に記載の学習装置により算出された予測係数を格納する予測係数メモリと、
入力動画像信号に含まれる入力画像のフレーム間における動きベクトルを第２動きベクトルとして求める第２動きベクトル検出手段と、
上記第２動きベクトルに基づいて、上記入力画像上におけるタップ中心位置を第２タップ中心位置として決定する第２タップ中心位置決定手段と、
上記第２タップ中心位置に基づいて、上記入力動画像信号から１乃至複数の画素を第２のクラス画素群として抽出する第２クラス画素群取り出し手段と、
上記第２クラス画素群から上記第２タップ中心位置に対応したクラス値を第２クラス値として算出する第２クラス値決定手段と、
上記第２タップ中心位置に基づいて、上記入力画像から１乃至複数の画素を予測画素群として取り出す予測画素群取り出し手段と、
上記第２クラス値に応じた上記予測係数と上記予測画素群とに基づいて出力動画像信号を生成する予測演算手段と、
を備える適用装置。
【請求項３】
上記教師動画像信号は、上記生徒動画像信号に比べて単位時間当たりのフレーム数が多い請求項１に記載の学習装置。
【請求項４】
変換前フレーム周波数を有する生徒動画像信号および変換後フレーム周波数を有する教師動画像信号とに基づいて、入力動画像信号のフレーム周波数を変換して出力動画像信号を生成するための予測係数を算出する学習方法において、
上記教師動画像信号に含まれる教師画像中に設定された注目画素に対応する上記生徒動画像信号に含まれる生徒画像の画素のフレーム間における動きベクトルを求める動きベクトル検出ステップと、
上記動きベクトルを上記注目画素の位置にシフトさせ、該動きベクトルを上記動きベクトルを算出したフレームに割り振ることにより、上記生徒画像上におけるタップ中心位置を決定するタップ中心位置決定ステップと、
上記タップ中心位置に基づいて、上記生徒画像から１乃至複数の画素をクラス画素群として抽出するクラス画素群取り出しステップと、
上記クラス画素群から上記タップ中心位置に対応したクラス値を算出するクラス値決定ステップと、
上記タップ中心位置に基づいて、上記生徒画像から１乃至複数の画素を生徒画素群として取り出す生徒画素群取り出しステップと、
上記生徒画素群と予測係数とに基づいて予測教師画素を生成し、該予測教師画素の画素値と上記教師画素の画素値との誤差が最小になるように上記クラス値ごとに上記予測係数を算出する予測係数学習ステップと、
からなる学習方法。
【請求項５】
請求項４に記載の学習方法により算出された予測係数を格納する予測係数メモリと、
入力動画像信号に含まれる入力画像のフレーム間における動きベクトルを第２動きベクトルとして求める第２動きベクトル検出ステップと、
上記第２動きベクトルに基づいて、上記入力画像上におけるタップ中心位置を第２タップ中心位置として決定する第２タップ中心位置決定ステップと、
上記第２タップ中心位置に基づいて、上記入力動画像信号から１乃至複数の画素を第２のクラス画素群として抽出する第２クラス画素群取り出しステップと、
上記第２クラス画素群から上記第２タップ中心位置に対応したクラス値を第２クラス値として算出する第２クラス値決定ステップと、
上記第２タップ中心位置に基づいて、上記入力画像から１乃至複数の画素を予測画素群として取り出す予測画素群取り出しステップと、
上記第２クラス値に応じた上記予測係数と上記予測画素群とに基づいて出力動画像信号を生成する予測演算ステップと、
を備える適用方法。
【発明の詳細な説明】
【０００１】
この発明は、入力動画像信号のフレーム周波数を変換することによる出力動画像信号の生成に適用可能な学習装置、適用装置、学習方法および適用方法に関する。
【０００２】
【従来の技術】
ある放送方式で作成された画像信号を他の放送方式で利用するために、フレーム周波数を変換することが行なわれている。従来のフレーム周波数変換は、フレーム周波数の関係に基づいて、フレーム数を変換し、また、検出された動きベクトルに基づいて画素を移動することによって、変換先の画像を生成している。従来のフレーム周波数変換は、元の画像（入力画像）の性質と無関係になされるものであった。
【０００３】
また、フィルムに撮影された映画素材をテレビ放送用のビデオ信号へ変換するテレシネ変換が行なわれている。テレシネ変換においては、一般的にフィルムのコマ数が毎秒２４コマであるので、変換先のビデオ信号のフレーム周波数によって、フィルムの１コマの画像を２回繰り返して表示したり、２回繰り返しと３回繰り返しの組を周期的に行なう２−３プルダウンと呼ばれる方法で表示したりしている。
【０００４】
【発明が解決しようとする課題】
従来のフレーム周波数変換方法は、入力画像の性質と無関係に固定の方法で出力画像を生成するので、出力画像の解像度の面で問題が生じることがあった。また、従来のテレシネ変換方法は、動きのぎごちなさが変換先の画像で非常に目立つ問題があった。
【０００５】
従って、この発明の目的は、画像信号の変換を行なう際に、より高解像度で、動きが自然な動画像信号を得ることが可能な学習装置、適用装置、学習方法および適用方法を提供することにある。
【０００６】
上述した課題を解決するため、第１の発明は、変換前フレーム周波数を有する生徒動画像信号および変換後フレーム周波数を有する教師動画像信号とに基づいて、入力動画像信号のフレーム周波数を変換して出力動画像信号を生成するための予測係数を算出する学習装置において、教師動画像信号に含まれる教師画像中に設定された注目画素に対応する生徒動画像信号に含まれる生徒画像の画素のフレーム間における動きベクトルを求める動きベクトル検出手段と、動きベクトルを注目画素の位置にシフトさせ、該動きベクトルを動きベクトルを算出したフレームに割り振ることにより、生徒画像上におけるタップ中心位置を決定するタップ中心位置決定手段と、タップ中心位置に基づいて、生徒画像から１乃至複数の画素をクラス画素群として抽出するクラス画素群取り出し手段と、クラス画素群からタップ中心位置に対応したクラス値を算出するクラス値決定手段と、タップ中心位置に基づいて、生徒画像から１乃至複数の画素を生徒画素群として取り出す生徒画素群取り出し手段と、生徒画素群と予測係数とに基づいて予測教師画素を生成し、該予測教師画素の画素値と教師画素の画素値との誤差が最小になるようにクラス値ごとに予測係数を算出する予測係数学習手段とを備える学習装置である。
【０００７】
第２の発明は、予測係数を格納する予測係数メモリと、入力動画像信号に含まれる入力画像のフレーム間における動きベクトルを第２動きベクトルとして求める第２動きベクトル検出手段と、第２動きベクトルに基づいて、入力画像上におけるタップ中心位置を第２タップ中心位置として決定する第２タップ中心位置決定手段と、第２タップ中心位置に基づいて、入力動画像信号から１乃至複数の画素を第２のクラス画素群として抽出する第２クラス画素群取り出し手段と、第２クラス画素群から第２タップ中心位置に対応したクラス値を第２クラス値として算出する第２クラス値決定手段と、第２タップ中心位置に基づいて、入力画像から１乃至複数の画素を予測画素群として取り出す予測画素群取り出し手段と、上記第２クラス値に応じた上記予測係数と上記予測画素群とに基づいて出力動画像信号を生成する予測演算手段とを備える適用装置である。
【０００８】
第３の発明は、変換前フレーム周波数を有する生徒動画像信号および変換後フレーム周波数を有する教師動画像信号とに基づいて、入力動画像信号のフレーム周波数を変換して出力動画像信号を生成するための予測係数を算出する学習方法において、教師動画像信号に含まれる教師画像中に設定された注目画素に対応する生徒動画像信号に含まれる生徒画像の画素のフレーム間における動きベクトルを求める動きベクトル検出ステップと、動きベクトルを注目画素の位置にシフトさせ、該動きベクトルを動きベクトルを算出したフレームに割り振ることにより、生徒画像上におけるタップ中心位置を決定するタップ中心位置決定ステップと、タップ中心位置に基づいて、生徒画像から１乃至複数の画素をクラス画素群として抽出するクラス画素群取り出しステップと、クラス画素群からタップ中心位置に対応したクラス値を算出するクラス値決定ステップと、タップ中心位置に基づいて、生徒画像から１乃至複数の画素を生徒画素群として取り出す生徒画素群取り出しステップと、生徒画素群と予測係数とに基づいて予測教師画素を生成し、該予測教師画素の画素値と教師画素の画素値との誤差が最小になるようにクラス値ごとに予測係数を算出する予測係数学習ステップとからなる学習方法である。
【０００９】
第４の発明は、予測係数を格納する予測係数メモリと、入力動画像信号に含まれる入力画像のフレーム間における動きベクトルを第２動きベクトルとして求める第２動きベクトル検出ステップと、第２動きベクトルに基づいて、入力画像上におけるタップ中心位置を第２タップ中心位置として決定する第２タップ中心位置決定ステップと、第２タップ中心位置に基づいて、入力動画像信号から１乃至複数の画素を第２のクラス画素群として抽出する第２クラス画素群取り出しステップと、第２クラス画素群から第２タップ中心位置に対応したクラス値を第２クラス値として算出する第２クラス値決定ステップと、第２タップ中心位置に基づいて、入力画像から１乃至複数の画素を予測画素群として取り出す予測画素群取り出しステップと、第２クラス値に応じた予測係数と予測画素群とに基づいて出力動画像信号を生成する予測演算ステップとを備える適用方法である。
【００１０】
この発明によれば、第２の画像信号の画素間隔以下の精度で注目画素の動き情報を求め、動き情報に基づいて注目画素をクラス分類することによって、より高解像度で、動きが自然な画像信号を得ることができる。
【００１１】
【発明の実施の形態】
以下、この発明をフレーム周波数の変換処理に適用した一実施形態について図面を参照して説明する。図１は、一実施形態の全体的構成を示すものである。参照符号１００が画像信号関係学習装置であり、参照符号２００が画像信号関係適用装置である。学習装置１００に対しては、教師画像信号と生徒画像信号とが供給される。教師画像信号は、変換後フレーム周波数の画像信号であり、生徒画像信号は、教師画像信号と同一の画像を内容とし、変換前フレーム周波数の画像信号である。フレーム周波数の変換としては、テレビジョン方式の違いに基づく場合、時間解像度を高くする場合等によって、変換前フレーム周波数と変換後フレーム周波数の値としては、種々の値をとりうる。学習装置１００において、教師画像信号と生徒画像信号の関係が学習され、画像信号関係係数が学習装置１００から出力される。
【００１２】
学習装置１００で得られた係数が適用装置２００に与えられる。適用装置２００は、学習装置１００によって学習した係数と変換前フレーム周波数の画像信号を入力とし、変換後フレーム周波数の画像信号を出力する。
【００１３】
図２は、学習装置１００の一例を示すものである。学習装置１００に対しては、変換前フレーム周波数を有する生徒画像、変換後フレーム周波数を有する教師画像、変換前後の周波数情報を入力する。生徒画像信号が動きベクトル検出部１０１に供給され、所定数のフレーム間での動きベクトルが検出される。変換前後の周波数情報は、周波数情報コントローラ１０２から出力される。周波数情報が時間モード値決定部１０３に供給され、時間モード値が決定される。時間モード値は、学習すべきフレームの時間位置に関する値である。
【００１４】
動きベクトルおよび時間モード値がタップ中心位置決定部１０４に供給され、タップ中心位置が決定される。タップ中心位置が生徒画素群取り出し部１０５およびクラス画素群取り出し部１０６に供給される。取り出し部１０５は、タップ中心位置に基づいて、複数の生徒画素からなる生徒画素群を取り出す。取り出された生徒画素群が予測係数学習部１０７に供給される。
【００１５】
取り出し部１０６は、タップ中心位置に基づいて、複数の生徒画素からなるクラス画素群を取り出す。取り出されたクラス画素群がクラス値決定部１０８に供給される。クラス値決定部１０８は、クラス画素群からクラス値を決定する。クラス値が予測係数学習部１０７に供給される。
【００１６】
位置モード値決定部１０９は、タップ中心位置、動きベクトルおよび時間モード値に基づいて後述するように、位置モード値を決定する。位置モード値が予測係数学習部１０７に供給される。さらに、時間モード値に基づいて教師画素切り出し部１１０が教師画素を切り出す。切り出された教師画素が予測係数学習部１０７に供給される。
【００１７】
予測係数学習部１０７には、時間モード値、位置モード値、クラス値、生徒学習群、教師画素が供給される。予測係数学習部１０７は、これらの情報を使用して後述するように、生徒画素群から教師画素を予測するための予測係数を学習する。
【００１８】
図２では、学習装置１００がブロック図で示されているが、学習装置１００をソフトウェアによって実現することも可能である。図３は、学習方法の処理を示すフローチャートである。最初にステップＳ１おいて、生徒画像および教師画像が入力される。周波数情報に基づいてステップＳ２において時間モード値が決定される。
【００１９】
ステップＳ３では、生徒画像から動きベクトルが検出される。ステップＳ４では、時間モード値と動きベクトルに基づいてタップ中心位置が検出される。時間モード値、動きベクトルおよびタップ中心位置からステップＳ５において、位置モード値が決定される。
【００２０】
ステップＳ６では、タップ中心位置の情報に基づいて生徒画像からクラス画素群が取り出される。ステップＳ７では、クラス画素群を使用してクラス分類処理がなされ、クラス値が決定される。ステップＳ８では、タップ中心位置の情報に基づいて生徒画像から生徒画素群が取り出される。ステップＳ９では、教師画像から教師画素が取り出される。
【００２１】
ステップＳ１０からステップＳ１５までの処理は、最小二乗法に基づく予測係数学習処理である。すなわち、複数の予測係数と生徒画素との線型１次結合によって予測値を推定した時に、予測値と教師画像中の真値との誤差の二乗和を最小とするように、予測係数を定める。実際的な計算方法としては、誤差の二乗和に関する式を偏微分し、偏微分値が０となるように予測係数が定められる。その場合に正規方程式がたてられ、正規方程式が掃き出し法等の一般的な行列解法にしたがって解かれ、予測係数が算出される。
【００２２】
ステップＳ１０は、各クラス毎の正規方程式にデータを足し込む処理である。ステップＳ１１では、フレーム内全画素を処理したか否かが決定される。処理が終了していなならば、ステップＳ４（タップ中心位置決定）に戻る。フレーム内全画素を処理したと判断されると、ステップＳ１２において、画像内の全フレームの処理を終了したか否かが決定される。処理が終了していないならば、ステップＳ２（時間モード値決定）に戻る。さらに、ステップＳ１３では、入力全画像を処理したか否かが決定される。処理が終了していないならば、ステップＳ１（画像を入力）に戻る。
【００２３】
ステップＳ１３において、入力された全画像を処理したものと決定されると、ステップＳ１４において掃き出し法によって正規方程式が解かれる。そして、ステップＳ１５において求められた予測係数が出力される。
【００２４】
さらに、この発明の一実施形態について説明する。最初に動きベクトル検出部１０１における動きベクトル検出について説明する。動きベクトルの検出の方法としては、ブロックマッチング法、勾配法等を使用できる。動きベクトルの精度は、画素単位精度以上あれば良い。動きベクトルを検出する領域単位は、画素毎でも良いし、最終的に生成する画像が劣化しない範囲であれば、水平および／または垂直方向に数画素おきでも良い。
【００２５】
動きベクトルを検出するフレーム数は、生徒画像の２フレーム間以上とする。フレーム数を多くすれば、空間アクティビティの低い領域や、繰り返しパターンを含む領域での誤検出を減らすことができる。一方、仮定した直線性から外れる動きや、カバード／アンカバードバックグラウンドでの誤検出が増える可能性がある。以降の説明では、一例として生徒画像の２フレーム間で画素毎に画素単位精度で動きベクトルを検出するものとして説明する。
【００２６】
次に、時間モード値決定部１０３について、図４を参照して説明する。時間モード値決定部１０３は、変換前後の周波数から学習すべきフレームの時間位置に関する時間モード値を決定する。変換前後のフレーム周波数の比と、生徒画像と教師画像で同じ時間位置のフレームで学習を行なうか否かによって、モードの数と決定方法とが異なる。
【００２７】
図４Ａは、フレーム周波数を２倍にする変換のための係数を学習する場合を示す。この場合では、生徒画像の２フレームの間に教師画像の２フレームが入る時間関係とされる。そして、教師画像フレームのどちらの時間的位置の係数を学習するかによって、モード０およびモード１が規定される。例えば２フレーム間で、より時間的に前の教師画像フレーム上の画素値を予測するための係数を学習する場合には、時間モード値が０とされ、他方の教師画像フレーム上の画素値を予測するための係数を学習する場合には、時間モード値が１とされる。
【００２８】
図４Ｂは、フレーム周波数を２．５倍にする変換のための係数を学習する場合を示す。この場合では、生徒画像と教師画像とが同じ時間的位置のフレームでは、係数を学習しないものとしており、生徒画像の２フレーム間に教師画像の２フレームが入る。したがって、４種類の時間的位置の教師画像フレーム上の画素値を予測する係数を学習することになる。どのフレーム位置の係数を学習するかによって、時間モード値が０から３までの何れかの値をとる。
【００２９】
次に、動きベクトル値と時間モード値を受け取ってタップ中心位置を決定するタップ中心位置決定部１０４について、図５を参照して説明する。図５Ａは、フレーム周波数を５倍に変換する処理において、教師画像と、生徒画像の２フレームから決定された動きベクトルとを示している。一例として、動きベクトルが垂直方向の成分のみとし、２画素分の下方向の動きベクトルが検出されたものとしている。タップ中心位置は、次の手順で決定される。
【００３０】
まず、教師フレーム上に設定した注目画素位置に対応する生徒フレーム上の画素位置での動きベクトルを注目画素位置にシフトする。次に、時間モード値によって、動きベクトルを検出するのに使用した生徒画像の２フレームに対して動きベクトルを割り振る。注目画素位置から割り振られた動きベクトル分ずれた位置を計算する。その位置を四捨五入、切り捨て、または切り上げによって、整数画素位置に丸めたものをタップ中心位置とする。タップ中心位置は、教師画像のフレームの前後に位置する生徒画像の２フレームに対してそれぞれ設定される。タップ中心位置を中心として画素（生徒画素群およびクラス画素群）を切り出す時には、この前後の２フレームのそれぞれから画素が切り出される。
【００３１】
図５Ｂおよび図５Ｃの例は、異なる時間モード値の場合を示している。図５Ｂの例では、割り振られた動きベクトル分ずれた位置を計算し、その位置を整数画素位置に丸めても、生徒画像上のタップ中心位置の画素が１画素移動しない。一方、図５Ｃの例では、丸めた結果、生徒画像上のタップ中心位置の画素が１画素ずれている。
【００３２】
図６は、タップ中心位置決定処理をソフトウェア処理で行なう場合の流れを示すフローチャートである。ステップＳ２１では、教師画像上の注目画素位置を決定する。次のステップＳ２２では、生徒画像上の注目画素位置の動きベクトルを読み出す。ステップＳ２３では、フレーム間時間距離比に応じた動きベクトルを計算する。この処理は、時間モード値によって、動きベクトルを検出するのに使用した生徒画像の２フレームに対して動きベクトルを割り振ることである。例えば生徒画像の２フレーム間の中心位置に教師画像のフレームが位置する時には、動きベクトルが１／２とされる。
【００３３】
そして、ステップＳ２４においては、ステップＳ２３で計算された動きベクトルに応じた生徒画像上の対応画素位置（小数精度）の計算を行なう。ステップＳ２５では、切り捨て、切り上げ、四捨五入等の処理で、整数画素位置へ対応画素位置を丸める。以上でタップ中心位置の決定処理が終了する。
【００３４】
図７は、上述したタップ中心位置に基づいて、クラス画素群取り出し部１０６によって取り出されるクラス画素群のいくつかの例を示している。生徒画像上で、上述したように決定されたタップ中心位置の画素が図７では、黒丸で示されている。また、周辺の画素で、クラス画素として使用される画素には、斜線が付されている。時間的に連続する生徒画像の２フレームのそれぞれにおいて、同一の配置関係にあるクラス画素群が取り出される。
【００３５】
クラス画素群を取り出す場合には、タップ中心位置決定部１０４で決めておいたタップ中心位置からの相対位置をメモリから読み出し、タップ中心位置からそれぞれのクラス画素位置を求め、対応する画素値をフレームバッファから読み出すようになされる。クラス画素の数および位置は、学習の効率、メモリの制限、処理速度などの点を考慮して適宜定められる。
【００３６】
次に、クラス値決定部１０８におけるクラス値の決定処理について図８を参照して説明する。上述したように取り出されたクラス画素群の画素値を１ビットＡＤＲＣ（Adaptive Dynamic Range Coding)によって符号化し、符号化の結果（ビット列）を整数としてみた値をクラス値とする。
【００３７】
画素値が８ビットで表現されている時には、画素値として０から２５５までの値がありうる。図８では、時間的に連続する生徒画像の２フレームの各フレームに５個のクラス画素が含まれ、合計１０画素によってクラス画素群が構成されている。この１０画素のクラス画素値の最大値と最小値の差がダイナミックレンジＤＲである。１ビットＡＤＲＣであるので、ＤＲが１／２とされた値が中値とされ、この中値に対するクラス画素値の大小関係が調べられる。クラス画素値が中値より小であれば、"0" と符号化され、クラス画素値が中値以上であれば、"1"と符号化される。図８の例では、１ビットＡＤＲＣの結果の符号化値のビット列が（００００１００００１）となる。このビット列を整数としてみた値（＝３３）がクラス値とされる。
【００３８】
クラス数を削減するために、符号化結果のビット列をビット毎に反転させた値をクラス値としても良い。この場合は、クラス数は半分となる。また、タップ配置が左右／上下に対称な場合、画素値を並び替えて同様の計算を行なって、クラス数をそれぞれ半分としても良い。
【００３９】
次に、位置モード値決定部１０９における位置モード値の決定処理について、図９を参照して説明する。位置モード値決定部１０９には、動きベクトル、時間モード値およびタップ中心位置が与えられる。前述したように、タップ中心位置を決定する際に、教師フレーム上の注目画素位置から生徒画像の２フレームにそれぞれ動きベクトルを割り振っている。動きベクトルは、画素単位精度で求めるようにしている。したがって、注目画素位置から動きベクトル割り振り分シフトした位置と整数格子点位置との小数以下のずれは、フレーム周波数２倍の時には、０および０．５の二通りが存在する。図５に示した例のように、フレーム周波数が５倍の時には、０，０．２，０．４，０．6 ，０．８の５通りのパターンがある。フレーム周波数が２．５倍の時でも、フレーム周波数が５倍の時と同様の５通りのパターンがある。
【００４０】
この小数以下のずれ量を水平方向および垂直方向毎に考えると、フレーム周波数が２倍の時は、２×２＝４通りの位置モード値を決定する。フレーム周波数が５倍の時は、５×５＝２５通りの位置モード値を決定する。図９は、生徒フレームの２フレームの一方のフレームにおける画素位置を示し、フレーム周波数を５倍に変換する例である。図９Ａは、切り捨てによって位置モード値を決定する場合を示す。小数位置タップ中心（白丸で示す）が５×５の領域内にある時に、切り捨て処理によって、黒丸で示す整数位置タップ中心に変更される。四捨五入による場合では、図９Ｂに示すように、５×５の領域内に小数位置タップ中心がある時に、その中心の黒丸の画素が四捨五入後の整数位置タップ中心となる。５×５の２５通りの位置モード値が規定される。位置モード値は、予測係数学習部１０７に供給される。
【００４１】
図１０を参照してソフトウェア処理によって位置モード値を決定する時の処理の流れを説明する。ステップＳ３１では、教師画像上の注目画素位置が決定される。ステップＳ３２では、生徒画像上の注目画素位置の動きベクトルを読み出す。ステップＳ３３では、フレーム間時間距離比に応じて動きベクトルを計算する。ステップＳ３４では、計算した動きベクトルに応じた生徒画像上の対応画素位置（小数精度）を計算する。ステップＳ３５では、対応画素位置とタップ中心位置との差分を計算する。そして、ステップＳ３６において、差分を位置モード値に変換する。
【００４２】
上述したタップ中心位置決定部１０４で決定されたタップ中心位置に基づいて、生徒画素群取り出し部１０５が生徒画素群を取り出す。図１１は、取り出される生徒画素群のいくつかの例を示している。前述したクラス画素群の取り出し（図７参照）と生徒画素群の取り出しは、タップ中心位置からの相対位置が異なる点を除いて同様である。生徒画素群として取り出す生徒画素の数および位置は、学習の効率、メモリの制限、処理速度などの点を考慮して適宜定めるようになされる。
【００４３】
教師画素取り出し部１１０は、時間モード値に基づいて、教師画像から教師画素を取り出すものである。すなわち、現在どの時間モード値の係数を学習しているかによって、入力された教師画像のうちの一つを選択し、注目画素位置に対応する画素値をフレームバッファから読み出す。
【００４４】
予測係数学習部１０７は、時間モード値、位置モード値、クラス値、生徒画素群、教師画素に基づいて、生徒画素群から教師画素を予測するための予測係数を学習するものである。以下、学習部１０７の処理について説明する。ある特定の時間モード値ｍt 、位置モード値ｍp 、クラス値ｃの組み合わせを持つ生徒画素群ｘsi（１≦ｉ≦ｎ）と教師画素ｘt の対は、ほぼ同様の性質を持つと考えられる。そで、そのような対を集めて予測係数（ｗ1〜ｗn）を求める。
【００４５】
一例として、生徒画素群の画素値の１次結合によって教師画素を予測する。すなわち、
ｘt ＾＝ｗ1 ×ｘs1＋ｗ2 ×ｘs2＋‥‥＋ｗn ×ｘsn
と表せる。但し、＾は、予測値を表す。
【００４６】
上述した予測式を同じ（ｍt 、ｍp 、ｃ）の組み合わせを持つ全ての生徒画素群ｘsji（１≦ｉ≦ｎ，１≦ｊ≦ｍ）に対して適用すると、次式の関係となる。
【００４７】
【数１】
0004483085.tif 000002
【００４８】
予測係数学習部１０７には、実際の教師画素値（ｘt1，ｘt2，・・・，ｘtm）が供給されるので、実際の教師画素値と予測される画素値（ｘt1＾，ｘt2＾，・・・，ｘtm＾）との誤差が最小となるように最小二乗法によって、線型１次結合の係数（ｗ1，ｗ2 ，・・・，ｗn）を求める。これが予測係数である。予測係数は、（ｍt 、ｍp 、ｃ）の組み合わせの全てに関して求められる。
【００４９】
図１２は、画像信号関係適用装置２００の一例の構成を示す。上述した学習装置１００によって求められた予測係数が予測係数メモリ２１０に格納されている。メモリ２１０には、時間モード値ｍt 、位置モード値ｍp 、クラス値ｃの組み合わせ（ｍt 、ｍp 、ｃ）毎に係数が格納されている。
【００５０】
適用装置２００に対しては、変換前フレーム周波数を有する入力画像、変換前後の周波数情報を入力する。入力画像信号が動きベクトル検出部２０１に供給され、所定数のフレーム間での動きベクトルが検出される。なお、入力画像がＭＰＥＧのように動きベクトルを用いて圧縮したものである場合には、サイド情報として送られてきた動きベクトルが後の処理の要求する精度を持つならば、復号時に得られる動きベクトルをそのまま流用し、動きベクトルの検出処理を省略することができる。変換前後の周波数情報は、周波数情報コントローラ２０２から出力される。周波数情報が時間モード値決定部２０３に供給され、時間モード値が決定される。時間モード値は、学習すべきフレームの時間位置に関する値である。
【００５１】
動きベクトルおよび時間モード値がタップ中心位置決定部２０４に供給され、タップ中心位置が決定される。タップ中心位置が予測画素群取り出し部２０５およびクラス画素群取り出し部２０６に供給される。取り出し部２０５は、タップ中心位置に基づいて、複数の予測画素からなる予測画素群を取り出す。取り出された予測画素群が予測演算部２０７に供給される。
【００５２】
取り出し部２０６は、タップ中心位置に基づいて、複数の予測画素からなるクラス画素群を取り出す。取り出されたクラス画素群がクラス値決定部２０８に供給される。クラス値決定部２０８は、クラス画素群からクラス値を決定する。クラス値が予測係数メモリ２１０に供給される。
【００５３】
位置モード値決定部２０９は、タップ中心位置、動きベクトルおよび時間モード値に基づいて、位置モード値を決定する。位置モード値が予測係数メモリ２１０に供給される。さらに、時間モード値が予測係数メモリ２１０に供給される。
【００５４】
予測係数メモリ２１０には、時間モード値ｍt 、位置モード値ｍp 、クラス値ｃが供給され、（ｍt 、ｍp 、ｃ）の組み合わせに対応する予測係数（ｎ個の係数のセット）（ｗ1，ｗ2 ，・・・，ｗn）が予測係数メモリ２１０から出力される。この予測係数と、予測画素群取り出し部２０５からの予測画素群が予測演算部２０７に供給される。予測演算部２０７では、予測画素群の予測画素と予測係数との線型１次結合によって、変換後のフレーム周波数の画像信号を生成する。予測演算部２０７は、予測した画素値がフレーム単位まで蓄積されたら、フレームの画像データを出力する。
【００５５】
予測演算部２０７の予測演算は、予測係数（ｗ1，ｗ2 ，・・・，ｗn）と予測画素群ｘpi（１≦ｉ≦ｎ）とを使用し、
ｘ＾＝ｗ1ｘp1＋ｗ2ｘp2＋・・・＋ｗnｘpn
の演算によって予測画素値ｘ＾を生成する。
【００５６】
動きベクトル検出部２０１、周波数情報コントローラ２０２、時間モード値決定部２０３、タップ中心位置決定部２０４、予測学習群取り出し部２０５、クラス画素群取り出し部２０６、クラス値決定部２０８、位置モード決定部２０９は、上述した学習装置１００における動きベクトル検出部１０１、周波数情報コントローラ１０２、時間モード値決定部１０３、タップ中心位置決定部１０４、生徒画素群取り出し部１０５、クラス画素群取り出し部１０６、クラス値決定部１０８、位置モード決定部１０９と同様の機能を有するもので、その詳細な説明は、省略する。
【００５７】
図１３は、画像信号関係適用装置２００をソフトウェア処理で実現した場合の処理の流れを示すフローチャートである。ステップＳ４１では、入力画像信号が供給される。ステップＳ４２において、時間モード値が決定される。ステップＳ４３において、動きベクトルが検出される。ステップＳ４４においては、タップ中心位置が決定される。ステップＳ４５において、位置モード値が決定される。
【００５８】
ステップＳ４６においては、決定されたタップ中心位置に基づいてクラス画素群が取り出され、ステップＳ４７において、クラス値が決定され、また、クラス値、位置モード値および時間モード値によってクラス分類がなされる。ステップＳ４８において、予測画素群が取り出される。ステップＳ４９において、記憶されている予測係数の内で、クラスに応じた予測係数が読み出される。ステップＳ５０では、予測画素群の複数の画素と複数の予測係数の線型１次結合（予測演算）によって、予測画素が生成される。ステップＳ５１において、生成された予測画素が出力される。
【００５９】
ステップＳ５２では、フレーム内全画素を処理したか否かが決定される。処理が終了していなならば、ステップＳ４４（タップ中心位置決定）に戻る。フレーム内全画素を処理したと判断されると、ステップＳ５３において、画像内の全フレームの処理を終了したか否かが決定される。処理が終了していないならば、ステップＳ４２（時間モード値決定）に戻る。さらに、ステップＳ５３では、入力全画像を処理したか否かが決定される。処理が終了していないならば、ステップＳ４１（画像を入力）に戻る。
【００６０】
この発明は、上述したこの発明の一実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば線型１次結合以外の予測演算式を使用しても良い。また、レベル以外の特徴を使用してクラス分類を行なうようにしても良い。
【００６１】
【発明の効果】
上述したように、この発明は、実際に撮影された高精細で動きの自然な変換後フレーム周波数の教師画像信号と、それに対応し、変換前フレーム周波数の生徒画像信号との間の関係を、変換前フレーム周波数の生徒画像信号の性質の分類毎に学習する。また、学習の結果得られる予測係数を用いて変換前フレーム周波数の入力画像信号を変換後フレーム周波数の出力画像信号へ変換する。このような処理によって、空間解像度が高精細で、動きの自然な出力画像信号を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の概略的構成を示すブロック図である。
【図２】画像信号関係学習装置の一例のブロック図である。
【図３】画像信号関係学習装置をソフトウェアで実現した場合の学習処理の一例を説明するフローチャートである。
【図４】この発明の一実施形態における時間モード値を説明するための略線図である。
【図５】この発明の一実施形態におけるタップ中心位置決定方法を説明するための略線図である。
【図６】タップ中心位置決定方法をソフトウェアで実現した場合の処理の一例を説明するフローチャートである。
【図７】クラス画素群のいくつかの配置例を示す略線図である。
【図８】クラス決定方法の一例を説明するための略線図である。
【図９】位置モード値の説明に使用する略線図である。
【図１０】位置モード値を求める方法をソフトウェアで実現した場合の処理の一例を説明するフローチャートである。
【図１１】生徒画素群のいくつかの配置例を示す略線図である。
【図１２】画像信号関係適用装置の一例のブロック図である。
【図１３】画像信号関係適用装置をソフトウェアで実現した場合の処理の一例を説明するフローチャートである。
【符号の説明】
１０１，２０１・・・動きベクトル検出部、１０３，２０３・・・時間モード値決定部、１０４，２０４・・・タップ中心位置決定部、１０５，２０５・・・生徒画素群取り出し部、１０６，２０６・・・クラス画素群取り出し部、１０７・・・予測係数学習部、１０８，２０８・・・クラス値決定部、１０９，２０９・・・位置モード値決定部、１１０・・・教師画素取り出し部、２０７・・・予測演算部、２１０・・・予測係数メモリ
【図１】
0004483085.tif 000003
【図２】
0004483085.tif 000004
【図３】
0004483085.tif 000005
【図４】
0004483085.tif 000006
【図５】
0004483085.tif 000007
【図６】
0004483085.tif 000008
【図７】
0004483085.tif 000009
【図８】
0004483085.tif 000010
【図９】
0004483085.tif 000011
【図１０】
0004483085.tif 000012
【図１１】
0004483085.tif 000013
【図１２】
0004483085.tif 000014
【図１３】
0004483085.tif 000015