(57)【要約】【課題】複数の画像処理部を有効に活用することができるようにする。【解決手段】画像処理装置２００は、表示モードが画像比較モードである場合、画像処理部２１３−１乃至２１３−３において、入力された入力画像に対して、パラメータの異なる複数の画像処理を施し、その処理後画像を１画面で同時に表示する。ユーザは、複数の処理後画像から最適な処理後画像を選択する。また、表示モードが全画面モードである場合、画像処理装置２００は、ユーザが画像比較モードで選択した最適なパラメータで入力画像に対する画像処理を行うが、画像比較モードのときよりもタップ範囲を広くすることにより、より高画質な処理を行う。本発明は、例えば、画像処理装置に適用できる。【選択図】図１４
2009026026.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理をそれぞれ行う複数の画像変換処理手段と、
複数の前記画像変換処理手段それぞれによる処理後の画像である複数の処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替える制御手段と
を備え、
前記複数の画像変換処理手段のそれぞれは、
前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択する予測タップ選択手段と、
前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段と
を有し、前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える
画像処理装置。
【請求項２】
前記クラスタップまたは前記予測タップとして選択した画素の範囲であるタップ範囲は、前記第１のモードでは、複数の前記画像変換処理手段それぞれで同一であり、前記第２のモードでは、複数の前記画像変換処理手段それぞれで異なり、複数の前記画像変換処理手段それぞれのタップ範囲を合わせた範囲が前記第1のモードにおけるタップ範囲よりも拡大した範囲となる
請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像変換処理手段のそれぞれは、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替えることにより、前記第１のモードでは、前記第１の画像の所定の領域を拡大する拡大処理を行い、前記第２のモードでは、前記第１の画像の所定の領域を拡大し、かつ、時間解像度を向上させる時間解像度および拡大処理を行う
請求項１に記載の画像処理装置。
【請求項４】
前記入力画像の特徴量を抽出し、前記入力画像が前記動画像中のどのシーンの画像であるかを表すタイムコードを検出する同期特徴量抽出手段と、
前記同期特徴量抽出手段によって検出された前記タイムコードに対応して、複数の前記画像変換処理手段それぞれが拡大する前記所定の領域を特定する領域特定情報を出力する複数の領域特定手段と
をさらに備え、
複数の前記画像変換処理手段のそれぞれは、前記第１のモードにおいて、前記領域特定情報に基づいて、前記第１の画像を拡大する拡大処理を行う
請求項３に記載の画像処理装置。
【請求項５】
前記第１のモードにおいて複数の前記画像変換処理手段が前記第１の画像を拡大して得られる複数の前記拡大画像のなかからユーザが選択した拡大画像を表す情報である選択情報を、前記タイムコードと対応付けて記憶するユーザ選択情報記憶手段と、
前記第２のモードにおいて、前記ユーザ選択情報記憶手段に記憶されている前記選択情報に基づいて、前記複数の領域特定手段から供給される複数の前記領域特定情報のなかから１つの領域特定情報を選択し、複数の前記画像変換処理手段に供給する選択手段と
をさらに備え、
複数の前記画像変換処理手段のそれぞれは、前記第２のモードにおいて、前記領域特定情報に基づいて、前記第１の画像を拡大し、かつ、時間解像度を向上させる時間解像度および拡大処理を行う
請求項４に記載の画像処理装置。
【請求項６】
第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理を行う画像処理装置の画像処理方法において、
前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択し、前記クラスタップに基づいて、前記注目画素をクラス分類し、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択し、前記注目画素のクラスのタップ係数を出力し、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める画像変換処理を複数同時に行い、複数の画像変換処理による処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替えるステップを含み、
前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える
画像処理方法。
【請求項７】
第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理を、コンピュータに実行させるプログラムにおいて、
前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択し、前記クラスタップに基づいて、前記注目画素をクラス分類し、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択し、前記注目画素のクラスのタップ係数を出力し、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める画像変換処理を複数同時に行い、複数の画像変換処理による処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替えるステップを含み、
前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える
画像変換処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、複数の画像処理部を備える場合に好適な画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
ある画像に対して、複数の異なる画像処理を施し、その画像処理結果どうしを比較検討する場合、複数の画像処理後の処理後画像を１つのモニタに交互に表示させ比較する手法が簡単には考えられる。また、複数の処理後画像を同時にモニタに表示させ比較するといった手法も存在する（例えば、特許文献１，２参照）。
【０００３】
複数の静止画像に対して、複数の異なる画像処理を施し、その画像処理結果どうしを比較検討する場合には、比較検討対象の静止画像を１つの画像処理部に順番に供給し、その結果得られる複数の処理後画像をモニタに同時に並べることができる。
【０００４】
【特許文献１】特開２０００−３０５１９３号公報
【特許文献２】特開２００６−６７１５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、比較検討対象の画像が動画像である場合、処理後画像を同時に見るためには、複数の画像処理部を備え、それらに同時並列的に処理を行わせるようにする必要がある。
【０００６】
ところが、比較検討後、複数の画像処理のうちのいずれかの方式またはパラメータに決定した後は、１つの画像処理部があればよく、それ以外の画像処理部が有効に活用されないという問題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、複数の画像処理部を有効に活用することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の画像処理装置は、第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理をそれぞれ行う複数の画像変換処理手段と、複数の前記画像変換処理手段それぞれによる処理後の画像である複数の処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替える制御手段とを備え、前記複数の画像変換処理手段のそれぞれは、前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択するクラスタップ選択手段と、前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択する予測タップ選択手段と、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段とを有し、前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える。
【０００９】
前記クラスタップまたは前記予測タップとして選択した画素の範囲であるタップ範囲は、前記第１のモードでは、複数の前記画像変換処理手段それぞれで同一であり、前記第２のモードでは、複数の前記画像変換処理手段それぞれで異なり、複数の前記画像変換処理手段それぞれのタップ範囲を合わせた範囲が前記第1のモードにおけるタップ範囲よりも拡大した範囲となるようにさせることができる。
【００１０】
前記複数の画像変換処理手段のそれぞれには、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替えることにより、前記第１のモードでは、前記第１の画像の所定の領域を拡大する拡大処理を行い、前記第２のモードでは、前記第１の画像の所定の領域を拡大し、かつ、時間解像度を向上させる時間解像度および拡大処理を行うようにさせることができる。
【００１１】
前記入力画像の特徴量を抽出し、前記入力画像が前記動画像中のどのシーンの画像であるかを表すタイムコードを検出する同期特徴量抽出手段と、前記同期特徴量抽出手段によって検出された前記タイムコードに対応して、複数の前記画像変換処理手段それぞれが拡大する前記所定の領域を特定する領域特定情報を出力する複数の領域特定手段とをさらに設け、複数の前記画像変換処理手段のそれぞれには、前記第１のモードにおいて、前記領域特定情報に基づいて、前記第１の画像を拡大する拡大処理を行うようにさせることができる。
【００１２】
前記第１のモードにおいて複数の前記画像変換処理手段が前記第１の画像を拡大して得られる複数の前記拡大画像のなかからユーザが選択した拡大画像を表す情報である選択情報を、前記タイムコードと対応付けて記憶するユーザ選択情報記憶手段と、前記第２のモードにおいて、前記ユーザ選択情報記憶手段に記憶されている前記選択情報に基づいて、前記複数の領域特定手段から供給される複数の前記領域特定情報のなかから１つの領域特定情報を選択し、複数の前記画像変換処理手段に供給する選択手段とをさらに設け、複数の前記画像変換処理手段のそれぞれには、前記第２のモードにおいて、前記領域特定情報に基づいて、前記第１の画像を拡大し、かつ、時間解像度を向上させる時間解像度および拡大処理を行うようにさせることができる。
【００１３】
本発明の一側面の画像処理方法は、第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理を行う画像処理装置の画像処理方法において、前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択し、前記クラスタップに基づいて、前記注目画素をクラス分類し、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択し、前記注目画素のクラスのタップ係数を出力し、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める画像変換処理を複数同時に行い、複数の画像変換処理による処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替えるステップを含み、前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える。
【００１４】
本発明の一側面のプログラムは、第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理を、コンピュータに実行させるプログラムにおいて、前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択し、前記クラスタップに基づいて、前記注目画素をクラス分類し、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択し、前記注目画素のクラスのタップ係数を出力し、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める画像変換処理を複数同時に行い、複数の画像変換処理による処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替えるステップを含み、前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える画像変換処理をコンピュータに実行させるプログラム。
【００１５】
本発明の一側面においては、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、第1のモードで選択された画像変換処理を実行する第２のモードが切り替えられ、第１のモードと第２のモードとで、クラスタップ、予測タップ、およびタップ係数の少なくとも１つが切り替えられる。
【００１６】
画像処理装置は、独立した装置であっても良いし、所定の装置の画像処理を行うブロックであっても良い。
【発明の効果】
【００１７】
本発明の一側面によれば、複数の画像処理部を有効に活用することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の画像処理装置は、第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理をそれぞれ行う複数の画像変換処理手段（例えば、図１４の画像処理部２１３−１乃至２１３−３）と、複数の前記画像変換処理手段それぞれによる処理後の画像である複数の処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替える制御手段（例えば、図１４の制御部２１７）とを備え、前記複数の画像変換処理手段のそれぞれは、前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択するクラスタップ選択手段（例えば、図７のタップ選択部１３）と、前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図７のクラス分類部１４）と、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択する予測タップ選択手段（例えば、図７のタップ選択部１２）と、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段（例えば、図７の係数出力部５５）と、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段（例えば、図７の予測演算部１６）とを有し、前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える。
【００２０】
前記入力画像の特徴量を抽出し、前記入力画像が前記動画像中のどのシーンの画像であるかを表すタイムコードを検出する同期特徴量抽出手段（例えば、図１８の同期特徴量抽出部４７１）と、前記同期特徴量抽出手段によって検出された前記タイムコードに対応して、複数の前記画像変換処理手段それぞれが拡大する前記所定の領域を特定する領域特定情報を出力する複数の領域特定手段（例えば、図１８のシーケンス再西武４７２Ａ乃至４７２Ｃ）とをさらに設け、複数の前記画像変換処理手段のそれぞれには、前記第１のモードにおいて、前記領域特定情報に基づいて、前記第１の画像を拡大する拡大処理を行うようにさせることができる。
【００２１】
前記第１のモードにおいて複数の前記画像変換処理手段が前記第１の画像を拡大して得られる複数の前記拡大画像のなかからユーザが選択した拡大画像を表す情報である選択情報を、前記タイムコードと対応付けて記憶するユーザ選択情報記憶手段（例えば、図１８の記録再生部４７４）と、前記第２のモードにおいて、前記ユーザ選択情報記憶手段に記憶されている前記選択情報に基づいて、前記複数の領域特定手段から供給される複数の前記領域特定情報のなかから１つの領域特定情報を選択し、複数の前記画像変換処理手段に供給する選択手段（例えば、図１８のスイッチャ部４７３）とをさらに設け、複数の前記画像変換処理手段のそれぞれには、前記第２のモードにおいて、前記領域特定情報に基づいて、前記第１の画像を拡大し、かつ、時間解像度を向上させる時間解像度および拡大処理を行うようにさせることができる。
【００２２】
本発明の一側面の画像処理方法またはプログラムは、第１の画像としての、動画像を構成する画像であって順次入力される１以上の入力画像を、第２の画像に変換する画像変換処理を行う画像処理装置の画像処理方法、または、前記画像変換処理をコンピュータに実行させるプログラムにおいて、前記第２の画像のうちの注目している注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いる画素を、クラスタップとして前記第１の画像から選択し、前記クラスタップに基づいて、前記注目画素をクラス分類し、前記注目画素を求めるときの前記タップ係数との演算に用いる画素を、予測タップとして前記第１の画像から選択し、前記注目画素のクラスのタップ係数を出力し、前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める画像変換処理を複数同時に行い、複数の画像変換処理による処理後画像のなかから１つの処理後画像を選択することにより、複数の異なる画像変換処理のなかから１つの画像変換処理を選択する第１のモードと、前記第1のモードで選択された画像変換処理を実行する第２のモードを切り替えるステップ（例えば、図１７のステップＳ８３）を含み、前記第１のモードと前記第２のモードとで、前記クラスタップ、前記予測タップ、および前記タップ係数の少なくとも１つを切り替える。
【００２３】
以下、本発明を適用した画像処理装置（システム）の実施の形態について説明するが、その前に、その画像処理装置が行う信号処理に利用するクラス分類適応処理について説明する。なお、クラス分類適応処理は、画像処理装置が行う信号処理に利用する処理の一例であり、画像処理装置が行う信号処理は、クラス分類適応処理を利用しないものであってもかまわない。
【００２４】
また、ここでは、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。
【００２５】
第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
【００２６】
即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【００２７】
また、例えば、第１の画像データを低S/N(Signal/Noise)の画像データとするとともに、第２の画像データを高S/Nの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
【００２８】
さらに、例えば、第１の画像データを所定の画素数（サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００２９】
また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【００３０】
さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
【００３１】
なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
【００３２】
以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
【００３３】
以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【００３４】
即ち、図１は、クラス分類適応処理による画像変換処理を行う画像変換装置１の構成例を示している。
【００３５】
画像変換装置１では、そこに供給される画像データが、第１の画像データとして、タップ選択部１２および１３に供給される。
【００３６】
注目画素選択部１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【００３７】
タップ選択部１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【００３８】
具体的には、タップ選択部１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
【００３９】
タップ選択部１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。即ち、タップ選択部１３は、タップ選択部１２が予測タップを選択するのと同様にして、クラスタップを選択する。
【００４０】
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【００４１】
タップ選択部１２で得られた予測タップは、予測演算部１６に供給され、タップ選択部１３で得られたクラスタップは、クラス分類部１４に供給される。
【００４２】
クラス分類部１４は、タップ選択部１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１５に供給する。
【００４３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００４４】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００４５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００４６】
なお、クラス分類部１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００４７】
従って、クラス分類部１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００４８】
係数出力部１５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１６に供給される。
【００４９】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【００５０】
予測演算部１６は、タップ選択部１２が出力する予測タップと、係数出力部１５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００５１】
次に、図２のフローチャートを参照して、図１の画像変換装置１による画像変換処理について説明する。
【００５２】
ステップＳ１１において、注目画素選択部１１は、画像変換装置１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択する。例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
【００５３】
ステップＳ１２において、タップ選択部１２とタップ選択部１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１２から予測演算部１６に供給され、クラスタップは、タップ選択部１３からクラス分類部１４に供給される。
【００５４】
クラス分類部１４は、タップ選択部１３から、注目画素についてのクラスタップを受信し、ステップＳ１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１５に出力する。
【００５５】
ステップＳ１４では、係数出力部１５が、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ１４では、予測演算部１６が、係数出力部１５が出力するタップ係数を取得する。
【００５６】
ステップＳ１５では、予測演算部１６が、タップ選択部１２が出力する予測タップと、係数出力部１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値を求めて出力する。
【００５７】
ステップＳ１６では、注目画素選択部１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１６において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００５８】
また、ステップＳ１６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
【００５９】
次に、図１の予測演算部１６における予測演算と、係数出力部１５に記憶されたタップ係数の学習について説明する。
【００６０】
いま、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００６１】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００６２】
【数１】
2009026026.tif 000003
【００６３】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００６４】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００６５】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００６６】
【数２】
2009026026.tif 000004
【００６７】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【００６８】
【数３】
2009026026.tif 000005
【００６９】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【００７０】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００７１】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００７２】
【数４】
2009026026.tif 000006
【００７３】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００７４】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００７５】
【数５】
2009026026.tif 000007
【００７６】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【００７７】
【数６】
2009026026.tif 000008
【００７８】
式（５）と（６）から、次式が得られる。
【００７９】
【数７】
2009026026.tif 000009
【００８０】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００８１】
【数８】
2009026026.tif 000010
【００８２】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【００８３】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【００８４】
図３は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置２１の構成例を示している。
【００８５】
学習用画像記憶部３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
【００８６】
教師データ生成部３２は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、教師データ生成部３２は、学習用画像データから、タップ係数の学習の教師（真値）、即ち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部３３に供給する。ここでは、教師データ生成部３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部３３に供給する。
【００８７】
教師データ記憶部３３は、教師データ生成部３２から供給される教師データとしての高画質画像データを記憶する。
【００８８】
生徒データ生成部３４は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、生徒データ生成部３４は、学習用画像データから、タップ係数の学習の生徒、即ち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１７４に供給する。ここでは、生徒データ生成部３４は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部３５に供給する。
【００８９】
生徒データ記憶部３５は、生徒データ生成部３４から供給される生徒データを記憶する。
【００９０】
学習部３６は、教師データ記憶部３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図１のタップ選択部１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
【００９１】
即ち、図４は、図３の学習部３６の構成例を示している。
【００９２】
注目画素選択部４１は、教師データ記憶部３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【００９３】
タップ選択部４２は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１２が選択するのと同一の画素を選択し、これにより、タップ選択部１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部４５に供給する。
【００９４】
タップ選択部４３は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１３が選択するのと同一の画素を選択し、これにより、タップ選択部１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部４４に供給する。
【００９５】
クラス分類部４４は、タップ選択部４３が出力するクラスタップに基づき、図１のクラス分類部１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。
【００９６】
足し込み部４５は、教師データ記憶部３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。
【００９７】
即ち、足し込み部４５には、教師データ記憶部３３に記憶された教師データｙk、タップ選択部４２が出力する予測タップｘn,k、クラス分類部４４が出力するクラスコードが供給される。
【００９８】
そして、足し込み部４５は、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【００９９】
さらに、足し込み部４５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１００】
即ち、足し込み部４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１０１】
そして、足し込み部４５は、教師データ記憶部３３（図３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【０１０２】
タップ係数算出部４６は、足し込み部４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１０３】
図１の画像変換装置１における係数出力部１５には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０１０４】
ここで、第１の画像データに対応する生徒データとする画像データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。
【０１０５】
即ち、上述のように、高画質画像データを、第２の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から１番目に示すように、低画質画像データ（ＳＤ(Standard Definition)画像）である第１の画像データを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０１０６】
なお、この場合、第１の画像データ（生徒データ）は、第２の画像データ（教師データ）と画素数が同一であっても良いし、少なくても良い。
【０１０７】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から２番目に示すように、低S/Nの画像データである第１の画像データを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０１０８】
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から３番目に示すように、画像データの一部である第１の画像データを、その第１の画像データを拡大した拡大画像データである第２の画像データに変換する拡大処理（リサイズ処理）としての画像変換処理を行うものを得ることができる。
【０１０９】
なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。
【０１１０】
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から４番目（１番下）に示すように、所定のフレームレートの第１の画像データを、高フレームレートの第２の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０１１１】
次に、図６のフローチャートを参照して、図３の学習装置２１の処理（学習処理）について、説明する。
【０１１２】
最初に、ステップＳ２１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部３３と生徒データ生成部３４にそれぞれ供給して記憶させる。
【０１１３】
なお、教師データ生成部３２と生徒データ生成部３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。
【０１１４】
その後、処理はステップＳ２２に進み、学習部３６（図４）において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択する。ステップＳ２３では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部４５に供給するとともに、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部４４に供給する。
【０１１５】
ステップＳ２４において、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。
【０１１６】
ステップＳ２５では、足し込み部４５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。
【０１１７】
ステップＳ２６では、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ２６において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、処理はステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１１８】
また、ステップＳ２６において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、処理はステップＳ２７に進み、足し込み部４５は、いままでのステップＳ２２乃至Ｓ２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６に供給する。
【０１１９】
さらに、ステップＳ２７では、タップ係数算出部４６は、足し込み部４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１２０】
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部４６は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１２１】
図７は、クラス分類適応処理による画像変換処理を行う他の画像変換装置である画像変換装置５１の構成例を示している。
【０１２２】
なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換装置５１は、係数出力部１５に代えて、係数出力部５５が設けられている他は、図１の画像変換装置１と同様に構成されている。
【０１２３】
係数出力部５５には、クラス分類部１４からクラス（クラスコード）が供給される他、例えば、ユーザの操作に応じて外部から入力されるパラメータｚが供給されるようになっている。係数出力部５５は、後述するようにして、パラメータｚに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部１４からのクラスのタップ係数を、予測演算部１６に出力する。
【０１２４】
図８は、図７の係数出力部５５の構成例を示している。
【０１２５】
係数生成部６１は、係数種メモリ６２に記憶されている係数種データと、パラメータメモリ６３に記憶されたパラメータｚとに基づいて、クラスごとのタップ係数を生成し、係数メモリ６４に供給して上書きする形で記憶させる。
【０１２６】
係数種メモリ６２は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
【０１２７】
パラメータメモリ６３は、ユーザの操作等に応じて外部から入力されるパラメータｚを上書きする形で記憶する。
【０１２８】
係数メモリ６４は、係数生成部６１から供給されるクラスごとのタップ係数（パラメータｚに対応するクラスごとのタップ係数）を記憶する。そして、係数メモリ６４は、クラス分類部１４（図７）から供給されるクラスのタップ係数を読み出し、予測演算部１６（図７）に出力する。
【０１２９】
図７の画像変換装置５１では、外部から係数出力部５５に対して、パラメータｚが入力されると、係数出力部５５（図８）のパラメータメモリ６３において、そのパラメータｚが、上書きする形で記憶される。
【０１３０】
パラメータメモリ６３にパラメータｚが記憶されると（パラメータメモリ６３の記憶内容が更新されると）、係数生成部６１は、係数種メモリ６２からクラスごとの係数種データを読み出すとともに、パラメータメモリ６３からパラメータｚを読み出し、その係数種データとパラメータｚに基づいて、クラスごとのタップ係数を求める。そして、係数生成部６１は、そのクラスごとのタップ係数を、係数メモリ６４に供給し、上書きする形で記憶させる。
【０１３１】
画像変換装置５１では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部１５に代えて設けられている係数出力部５５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図１の画像変換装置１が行う図２のフローチャートにしたがった処理と同様の処理が行われる。
【０１３２】
次に、図７の予測演算部１６における予測演算、並びに図８の係数生成部６１におけるタップ係数の生成および係数種メモリ６２に記憶させる係数種データの学習について説明する。
【０１３３】
図１の実施の形態における場合のように、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
【０１３４】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１３５】
図８の実施の形態では、係数生成部６１において、タップ係数ｗnが、係数種メモリ６２に記憶された係数種データと、パラメータメモリ６３に記憶されたパラメータｚとから生成されるが、この係数生成部６１におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータｚを用いた次式によって行われることとする。
【０１３６】
【数９】
2009026026.tif 000011
【０１３７】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，βM,nを用いて求められるようになっている。
【０１３８】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０１３９】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０１４０】
【数１０】
2009026026.tif 000012
【０１４１】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０１４２】
【数１１】
2009026026.tif 000013
【０１４３】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０１４４】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【０１４５】
【数１２】
2009026026.tif 000014
【０１４６】
いま、式（１２）の予測値ｙk'は、式（１）にしたがって求められるため、式（１２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【０１４７】
【数１３】
2009026026.tif 000015
【０１４８】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１４９】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０１５０】
【数１４】
2009026026.tif 000016
【０１５１】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０１５２】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１５３】
【数１５】
2009026026.tif 000017
【０１５４】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１５５】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０１５６】
【数１６】
2009026026.tif 000018
【０１５７】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０１５８】
【数１７】
2009026026.tif 000019
【０１５９】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０１６０】
【数１８】
2009026026.tif 000020
【０１６１】
【数１９】
2009026026.tif 000021
【０１６２】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０１６３】
【数２０】
2009026026.tif 000022
【０１６４】
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０１６５】
図７の画像変換装置５１においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβm,nが、係数出力部５５（図８）の係数種メモリ６２に記憶されており、係数生成部６１では、その係数種データβm,nと、パラメータメモリ６３に記憶されたパラメータｚから、式（９）にしたがって、クラスごとのタップ係数ｗnが生成される。そして、予測演算部１６において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０１６６】
図９は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβm,nを求める学習を行う学習装置７１の構成例を示している。
【０１６７】
なお、図中、図３の学習装置２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、学習装置７１は、生徒データ生成部３４と学習部３６に代えて、生徒データ生成部７４と学習部７６がそれぞれ設けられているとともに、パラメータ生成部８１が新たに設けられている他は、図３の学習装置２１と同様に構成されている。
【０１６８】
生徒データ生成部７４は、図３の生徒データ生成部３４と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部３５に供給して記憶させる。
【０１６９】
但し、生徒データ生成部７４には、学習用画像データの他、図８のパラメータメモリ６３に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部８１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部７４には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部８１から供給されるようになっている。
【０１７０】
生徒データ生成部７４は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
【０１７１】
従って、生徒データ生成部７４では、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。
【０１７２】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータｚに対応する低画質画像データほど、空間解像度が高い。
【０１７３】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部７４において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。
【０１７４】
学習部７６は、教師データ記憶部３３に記憶された教師データ、生徒データ記憶部３５に記憶された生徒データ、およびパラメータ生成部８１から供給されるパラメータｚを用いて、クラスごとの係数種データを求めて出力する。
【０１７５】
パラメータ生成部８１は、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部７４と学習部７６に供給する。
【０１７６】
図１０は、図９の学習部７６の構成例を示している。なお、図中、図４の学習部３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７７】
タップ選択部９２は、図４のタップ選択部４２と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１２が選択するのと同一のタップ構造の予測タップを選択し、足し込み部９５に供給する。
【０１７８】
タップ選択部９３も、図４のタップ選択部４３と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１３が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部４４に供給する。
【０１７９】
但し、図１０では、タップ選択部４２と４３に、図９のパラメータ生成部８１が生成するパラメータｚが供給されるようになっており、タップ選択部４２と４３は、パラメータ生成部８１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）から、予測タップとクラスタップをそれぞれ選択する。
【０１８０】
足し込み部９５は、図９の教師データ記憶部３３から、注目画素を読み出し、その注目画素、タップ選択部４２から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに行う。
【０１８１】
即ち、足し込み部９５には、教師データ記憶部３３に記憶された注目画素としての教師データｙk、タップ選択部４２が出力する注目画素についての予測タップｘi,k（ｘj,k）、およびクラス分類部４４が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータｚが、パラメータ生成部８１から供給される。
【０１８２】
そして、足し込み部９５は、クラス分類部４４から供給されるクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０１８３】
さらに、足し込み部９５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０１８４】
即ち、足し込み部９５は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０１８５】
そして、足し込み部９５は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部９６に供給する。
【０１８６】
係数種算出部９６は、足し込み部９５から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０１８７】
次に、図１１のフローチャートを参照して、図９の学習装置７１の処理（学習処理）について、説明する。
【０１８８】
最初に、ステップＳ３１において、教師データ生成部３２と生徒データ生成部７４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３２は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部７４には、パラメータ生成部８１が生成するＺ＋１個の値のパラメータｚが供給される。生徒データ生成部７４は、例えば、学習用画像データを、パラメータ生成部８１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０１８９】
教師データ生成部３２が出力する教師データは、教師データ記憶部３３に供給されて記憶され、生徒データ生成部７４が出力する生徒データは、生徒データ記憶部３５に供給されて記憶される。
【０１９０】
その後、ステップＳ３２において、パラメータ生成部８１は、パラメータｚを、初期値としての、例えば０にセットし、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に供給する。ステップＳ３３では、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択する。
【０１９１】
ステップＳ３４では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データ（注目画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを選択し、足し込み部９５に供給する。さらに、ステップＳ３４では、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データからクラスタップを選択し、クラス分類部４４に供給する。
【０１９２】
そして、ステップＳ３５において、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部９５に出力する。
【０１９３】
ステップＳ３６では、足し込み部９５は、教師データ記憶部３３から注目画素を読み出し、その注目画素、タップ選択部４２から供給される予測タップ、パラメータ生成部８１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部９５は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部４４からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKの足し込みを行う。
【０１９４】
ステップＳ３７では、パラメータ生成部８１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ３７において、パラメータ生成部８１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、処理はステップＳ３８に進み、パラメータ生成部８１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に出力する。そして、処理はステップＳ３４に戻り、以下、同様の処理が繰り返される。
【０１９５】
また、ステップＳ３７において、パラメータｚが最大値Ｚに等しいと判定された場合、処理はステップＳ３９に進み、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ３８において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、処理はステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０１９６】
また、ステップＳ３９において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、処理はステップＳ４０に進み、足し込み部９５は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部９６に供給する。
【０１９７】
さらに、ステップＳ４０において、係数種算出部９６は、足し込み部９５から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０１９８】
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部９６は、例えば、デフォルトの係数種データを出力するようになっている。
【０１９９】
ところで、図９の学習装置７１では、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、パラメータｚに対応して劣化させた低画質画像データを生徒データとして、タップ係数ｗnおよび生徒データｘnから式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、次のようにして行うことが可能である。
【０２００】
即ち、学習装置７１は、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データを、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像データを生徒データとして、まず最初に、タップ係数ｗnおよび生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnを、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求める。そして、学習装置７１は、そのパラメータｚの値ごとに求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,nおよび生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める。
【０２０１】
ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図３の学習装置２１における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０２０２】
ところで、タップ係数は、式（１１）に示したように、係数種データβm,nと、パラメータｚに対応する変数ｔmとから求められる。そして、いま、この式（１１）によって求められるタップ係数を、ｗn'と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn'との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０２０３】
【数２１】
2009026026.tif 000023
【０２０４】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０２０５】
【数２２】
2009026026.tif 000024
【０２０６】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２０７】
【数２３】
2009026026.tif 000025
【０２０８】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２０９】
【数２４】
2009026026.tif 000026
【０２１０】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０２１１】
【数２５】
2009026026.tif 000027
【０２１２】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０２１３】
【数２６】
2009026026.tif 000028
【０２１４】
【数２７】
2009026026.tif 000029
【０２１５】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０２１６】
【数２８】
2009026026.tif 000030
【０２１７】
式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０２１８】
図１２は、式（２８）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置１０１の構成例を示している。
【０２１９】
なお、図中、図３の学習装置２１または図９の学習装置７１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、学習装置１０１は、学習部７６に代えて、学習部１０６が設けられている他は、図９の学習装置７１と同様に構成されている。
【０２２０】
図１３は、図１２の学習部１０６の構成例を示している。なお、図中、図４の学習部３６または図１０の学習部７６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【０２２１】
足し込み部１１５には、クラス分類部４４が出力する注目画素のクラスと、パラメータ生成部８１が出力するパラメータｚが供給されるようになっている。そして、足し込み部１１５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに行う。
【０２２２】
即ち、足し込み部１１５には、教師データ記憶部３３（図１２）に記憶された教師データｙk、タップ選択部４２が出力する予測タップｘn,k、クラス分類部４４が出力するクラス、およびパラメータ生成部８１（図１２）が出力する、予測タップｘn,kを構成する生徒データを生成したときのパラメータｚが供給される。
【０２２３】
そして、足し込み部１１５は、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２２４】
さらに、足し込み部１１５は、やはり、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２２５】
即ち、足し込み部１１５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２２６】
そして、足し込み部１１５は、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【０２２７】
従って、足し込み部１１５は、図４の足し込み部４５と同様に、各クラスについて、式（８）の正規方程式をたてる。但し、足し込み部１１５は、さらに、パラメータｚの各値ごとにも、式（８）の正規方程式をたてる点で、図４の足し込み部４５と異なる。
【０２２８】
タップ係数算出部４６は、足し込み部１１５から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部１２１に供給する。
【０２２９】
足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚ（に対応する変数ｔm）と、タップ係数算出部４６から供給される最適なタップ係数ｗnを対象とした足し込みを、クラスごとに行う。
【０２３０】
即ち、足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２３１】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０２３２】
さらに、足し込み部１２１は、パラメータ生成部８１から供給されるパラメータｚから式（１０）によって求められる変数ｔiと、タップ係数算出部４６から供給される最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２３３】
足し込み部１２１は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１２２に供給する。
【０２３４】
係数種算出部１２２は、足し込み部１２１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２３５】
図８の係数出力部５５における係数種メモリ６２には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
【０２３６】
なお、係数種データの学習においても、図５で説明したタップ係数の学習における場合と同様に、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０２３７】
即ち、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像データを、その空間解像度を向上させた第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０２３８】
この場合、図７の画像変換装置５１では、画像データの水平解像度および垂直解像度を、パラメータｚに対応する解像度に向上させることができる。
【０２３９】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータｚに対応するレベルのノイズを重畳した画像データを生徒データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するS/Nの画像データを得ることができる。
【０２４０】
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータｚに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そのサイズを拡大または縮小した第２の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するサイズに拡大または縮小した画像データを得ることができる。
【０２４１】
なお、上述の場合には、タップ係数ｗnを、式（９）に示したように、β1,nｚ0＋β2,nｚ1＋・・・＋βM,nｚM-1で定義し、この式（９）によって、水平および垂直方向の空間解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗnを求めるようにしたが、タップ係数ｗnとしては、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０２４２】
即ち、タップ係数ｗnを、式（９）に代えて、例えば、３次式β1,nｚx0ｚy0＋β2,nｚx1ｚy0＋β3,nｚx2ｚy0＋β4,nｚx3ｚy0＋β5,nｚx0ｚy1＋β6,nｚx0ｚy2＋β7,nｚx0ｚy3＋β8,nｚx1ｚy1＋β9,nｚx2ｚy1＋β10,nｚx1ｚy2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、例えば、ｔ1＝ｚx0ｚy0，ｔ2＝ｚx1ｚy0，ｔ3＝ｚx2ｚy0，ｔ4＝ｚx3ｚy0，ｔ5＝ｚx0ｚy1，ｔ6＝ｚx0ｚy2，ｔ7＝ｚx0ｚy3，ｔ8＝ｚx1ｚy1，ｔ9＝ｚx2ｚy1，ｔ10＝ｚx1ｚy2で定義する。この場合も、タップ係数ｗnは、最終的には、式（１１）で表すことができ、従って、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚxとｚyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることができる。
【０２４３】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚxとｚyに加えて、さらに、時間方向の解像度に対応するパラメータｚtを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚx，ｚy，ｚtに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることが可能となる。
【０２４４】
また、リサイズ処理についても、空間解像度創造処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗnの他、水平と垂直方向を、それぞれパラメータｚxとｚyに対応する拡大率で、独立にリサイズするタップ係数ｗnを求めることが可能である。
【０２４５】
さらに、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚyに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータｚxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚyに対応してノイズ除去を行うタップ係数ｗnを求めることができる。
【０２４６】
以上のようなクラス分類適応処理を行う処理部を備える画像処理装置であって、本発明を適用した画像処理装置の実施の形態について、以下説明する。換言すれば、以下に説明する画像処理装置（画像処理システム）は、上述の画像変換装置を画像処理部（図１４の画像処理部２１３−１乃至２１３−３および図１８の画像処理部４７５−１乃至４７５−３）として備える装置である。
【０２４７】
図１４は、本発明を適用した画像処理装置の第１実施の形態の構成例を示している。
【０２４８】
図１４の画像処理装置２００は、画像入力部２１１、画像分配部２１２、画像処理部２１３−１乃至２１３−３、画像合成部２１４、画像提示部２１５、記憶部２１６、および制御部２１７により構成されている。
【０２４９】
画像処理装置２００は、入力画像と、画像処理部２１３−１乃至２１３−３で処理された３種類の処理後画像を同時に表示して、３種類の処理後画像の中から、最適な画像処理設定を選択（決定）する画像比較モードと、入力画像に対し、画像比較モードで決定された画像処理設定で画像処理を施し、処理後の画像を全画面で表示する全画面モードの２つの表示モードを有している。
【０２５０】
画像処理装置２００には、動画像が入力される。動画像を構成する複数の画像は、画像入力部２１１で取得され、入力画像として画像分配部２１２に順次供給される。
【０２５１】
画像分配部２１２は、画像入力部２１１から供給された入力画像を、画像処理部２１３−１乃至２１３−３および画像合成部２１４に供給する。
【０２５２】
画像処理部２１３−１乃至２１３−３それぞれは、上述したクラス分類適応処理を行うことにより、画像分配部２１２から供給される入力画像に対して所定の画像処理を同時に（並列に）実行し、処理後の画像である処理後画像を画像合成部２１４に供給する。ここで、画像処理部２１３−１乃至２１３−３が行う所定の画像処理とは、例えば、空間解像度を向上させたり、ノイズを除去することなどにより、画質を高画質にする高画質化処理である。
【０２５３】
より具体的には、表示モードが画像比較モードである場合には、画像処理部２１３−１乃至２１３−３それぞれは、ユーザがリモートコマンダ等を操作して設定したボリューム値に従ったクラス分類適応処理を実行する。ここで、ボリューム値とは、例えば、上述したクラス分類処理のパラメータｚに対応し、０乃至１００の範囲で設定することができるようになっている。画像処理部２１３−１乃至２１３−３それぞれには、異なるボリューム値が設定され、画像処理部２１３−１乃至２１３−３では、異なる画質に変換する処理が行われる。なお、画像処理部２１３−１乃至２１３−３において、クラスタップまたは予測タップとして設定される画素の範囲（以下、タップ範囲と称する）は同一である。
【０２５４】
一方、表示モードが全画面モードである場合には、画像処理部２１３−１乃至２１３−３それぞれは、画像比較モードにおける複数の処理後画像を比較した結果からユーザが選択したボリューム値でクラス分類適応処理を実行する。このとき、画像処理部２１３−１乃至２１３−３で設定されるタップ範囲は、画像処理部２１３−１乃至２１３−３それぞれで異なる。
【０２５５】
なお、現在の表示モードが画像比較モードであるかまたは全画面モードであるかは、モード情報として、制御部２１７から画像処理部２１３−１乃至２１３−３に供給される。また、画像処理部２１３−１乃至２１３−３が全画面モード時に設定するボリューム値も制御部２１７から供給される。
【０２５６】
画像合成部２１４には、画像分配部２１２から入力画像が供給されるとともに、画像処理部２１３−１乃至２１３−３のそれぞれから処理後画像が供給される。
【０２５７】
画像合成部２１４は、現在の表示モードが画像比較モードであるかまたは全画面モードであるかに応じて異なる画像の合成を行い、その結果得られる合成画像を画像提示部２１５に供給する。より具体的には、現在の表示モードが画像比較モードである場合には、画像合成部２１４は、画面を４分割した各領域に、入力画像と３種類の処理後画像を配置した合成画像を生成し、画像提示部２１５に供給する。一方、現在の表示モードが全画面モードである場合には、画像合成部２１４は、画像処理部２１３−１乃至２１３−３から供給される３つの処理後画像を加算し、その結果得られる画像を、合成画像として画像提示部２１５に供給する。
【０２５８】
なお、現在の表示モードが画像比較モードであるかまたは全画面モードであるかは、モード情報として、制御部２１７から供給される。また、画像合成部２１４には、画像比較モード時に画像処理部２１３−１乃至２１３−３それぞれに設定されるボリューム値を設定する設定画面の表示を指令する画面制御情報も制御部２１７から供給される。
【０２５９】
画像提示部２１５は、画像合成部２１４から供給される合成画像を所定の表示部に表示することにより、合成画像をユーザに提示する。
【０２６０】
記憶部２１６は、制御部２１７から供給される所定の情報を記憶する。例えば、記憶部２１６は、ユーザが画像比較モードにおいて複数の処理後画像を比較した結果から決定した、全画面モード時に画像処理部２１３−１乃至２１３−３に設定されるボリューム値を記憶する。
【０２６１】
制御部２１７は、ユーザが図示せぬリモートコマンダ等で操作した表示モードを設定（変更）する情報を取得し、モード情報として、画像処理部２１３−１乃至２１３−３に供給する。また、制御部２１７は、ユーザが画像処理部２１３−１乃至２１３−３それぞれに設定されるボリューム値を設定する場合には、その設定画面の表示を指令する画面制御情報を画像合成部２１４に供給する。
【０２６２】
図１４では、画像処理装置２００が３個の画像処理部２１３−１乃至２１３−３を備える例を示しているが、画像処理装置２００が備える画像処理部２１３は、２個でもよいし、４個以上でもよい。
【０２６３】
図１５は、画像比較モードと全画面モードの画面例を示している。
【０２６４】
画像比較モードにおいては、画像合成部２１４は、画像分配部２１２から供給された入力画像２４１と、画像処理部２１３−１乃至２１３−３で処理された３種類の処理後画像２４２−１乃至２４２−３を、画面を４分割した各領域に配置した合成画像２５０を生成する。
【０２６５】
図１５に示される例では、画像処理部２１３−１で処理された処理後画像２４２−１は、ボリューム値が２０（ｖｏｌ＝２０）に設定されて処理された画像であり、画像処理部２１３−２で処理された処理後画像２４２−２は、ボリューム値が４０（ｖｏｌ＝４０）に設定されて処理された画像である。また、画像処理部２１３−３で処理された処理後画像２４２−３は、ボリューム値が６０（ｖｏｌ＝６０）に設定されて処理された画像である。
【０２６６】
そして、ユーザは、処理後画像２４２−１乃至２４２−３を比較した結果、最適なボリューム値として２０を選択したとする。この場合、決定されたボリューム値（２０）が、全画面モード時におけるボリューム値として、記憶部２１６に供給され、記憶される。
【０２６７】
全画面モード時には、画像合成部２１４は、それぞれのボリューム値が２０に設定されている画像処理部２１３−１乃至２１３−３から供給された３つの処理後画像を加算し、その結果得られる合成画像２５１を画像提示部２１５に供給する。
【０２６８】
図１６は、画像比較モードおよび全画面モードにおけるタップ範囲（タップ構造）の例を示している。
【０２６９】
画像比較モードでは、タップ範囲は、画像処理部２１３−１乃至２１３−３のそれぞれで同一である。例えば、画像処理部２１３−１乃至２１３−３のいずれにおいても、注目画素に対応する画素に対して、その画素と、その画素から右方向に２画素、左方向に２画素、上方向に１画素、および下方向に１画素の計７画素がタップ範囲として設定される。
【０２７０】
また、画像比較モードにおけるボリューム値は、例えば、画像処理部２３１−１が２０（ｖｏｌ＝２０）、画像処理部２３１−２が４０（ｖｏｌ＝４０）、画像処理部２１３−３が６０（ｖｏｌ＝６０）というように、画像処理部２１３−１乃至２１３−３それぞれで異なる。
【０２７１】
一方、全画面モードにおいては、タップ範囲は、画像処理部２１３−１乃至２１３−３それぞれで異なり、画像処理部２１３−１乃至２１３−３それぞれのタップ範囲を合わせた範囲が画像比較モードにおけるタップ範囲よりも拡大した範囲となるように設定される。例えば、画像処理部２３１−１では、注目画素に対応する画素の２行上の３画素と１行上の４画素の計７画素がタップ範囲として設定され、画像処理部２３１−２では、注目画素に対応する画素を中心とする同一行の５画素と、その５画素のうちの一番右の画素の上下に配置された２画素の計７画素がタップ範囲として設定される。また、画像処理部２３１−３では、注目画素に対応する画素の２行下の３画素と１行下の４画素の計７画素がタップ範囲として設定される。このように画像処理部２１３−１乃至２１３−３のそれぞれでタップ範囲が設定された場合には、画像合成部２１４が生成する合成画像２５１は、図１６に示すように、注目画素に対応する画素に対して、その画素を含む周辺の２１画素をタップ範囲として設定したのと等価な画像を得ることができる。これは、クラス分類適応処理が個々の画素に注目したときには、係数群と予測タップとの積和演算で表現することができることによる。
【０２７２】
また、全画面モードにおけるボリューム値は、画像処理部２１３−１乃至２１３−３いずれにおいても、記憶部２１６に供給され、記憶された値である２０（ｖｏｌ＝２０）で同一である。
【０２７３】
次に、図１７のフローチャートを参照して、図１４の画像処理装置２００による第１の画像処理について説明する。
【０２７４】
初めに、ステップＳ８１において、画像分配部２１２は、画像入力部２１１から入力画像が供給されたかを判定する。ステップＳ８１で、入力画像が供給されないと判定された場合、処理は終了する。
【０２７５】
一方、ステップＳ８１で、画像入力部２１１から入力画像が供給されたと判定された場合、処理はステップＳ８２に進み、画像分配部２１２は、画像入力部２１１から供給された入力画像を分配する。即ち、画像分配部２１２は、入力画像を画像処理部２１３−１乃至２１３−３および画像合成部２１４に供給する。
【０２７６】
ステップＳ８３において、制御部２１７は、現在の表示モードが画像比較モードであるかを判定する。ステップＳ８３で、現在の表示モードが画像比較モードであると判定された場合、処理はステップＳ８４に進み、制御部２１７は、画像比較モードである旨のモード情報を画像処理部２１３−１乃至２１３−３に供給する。
【０２７７】
そして、ステップＳ８５において、画像処理部２１３−１乃至２１３−３は、クラス分類適応処理を行うことにより、入力画像に対して画質を高画質化する高画質化処理を実行する。ここでのクラス分類適応処理におけるボリューム値は、図１６を参照して説明したように、画像処理部２１３−１乃至２１３−３それぞれで異なる。また、タップ範囲は、画像処理部２１３−１乃至２１３−３で同一である。
【０２７８】
ステップＳ８６において、画像合成部２１４は、画面を４分割した各領域に、入力画像と３種類の処理後画像とを配置した合成画像を生成し、画像提示部２１５に供給する。
【０２７９】
ステップＳ８７において、制御部２１７は、ユーザがリモートコマンダ等を操作することにより、画像処理部２１３−１乃至２１３−３の処理後画像のいずれかが選択されたかを判定する。
【０２８０】
ステップＳ８７で、画像処理部２１３−１乃至２１３−３の処理後画像のいずれかが選択されたと判定された場合、処理はステップＳ８８に進み、制御部２１７は、選択された処理後画像に対応するボリューム値を記憶部２１６に供給し記憶させる。一方、ステップＳ８７で、画像処理部２１３−１乃至２１３−３の処理後画像のいずれも選択されていないと判定された場合には、処理はステップＳ８８をスキップして、ステップＳ９２に進む。
【０２８１】
また、上述したステップＳ８３で、現在の表示モードが画像比較モードではないと判定された場合、即ち、現在の表示モードが全画面モードである場合、処理はステップＳ８９に進み、制御部２１７は、全画面モードである旨のモード情報を画像処理部２１３−１乃至２１３−３に供給する。また、制御部２１７は、記憶部２１６に記憶されているボリューム値を読み出し、画像処理部２１３−１乃至２１３−３に供給する。
【０２８２】
そして、ステップＳ９０において、画像処理部２１３−１乃至２１３−３は、クラス分類適応処理を行うことにより、入力画像に対して画質を高画質化する高画質化処理を実行する。ここでのクラス分類適応処理におけるボリューム値は、図１６を参照して説明したように、画像処理部２１３−１乃至２１３−３で同一である。一方、タップ範囲は、画像処理部２１３−１乃至２１３−３それぞれで異なる。
【０２８３】
ステップＳ９１において、画像合成部２１４は、画像処理部２１３−１乃至２１３−３から供給される３種類の処理後画像を加算することにより、３種類の処理後画像から１つの合成画像を生成し、画像提示部２１５に供給する。
【０２８４】
ステップＳ９２において、画像提示部２１５は、画像合成部２１４から供給される合成画像を所定の表示部に表示することにより、合成画像をユーザに提示する。ステップＳ９２の処理後、処理はステップＳ８１に戻り、それ以降の処理が繰り返し実行される。
【０２８５】
以上のように、第１の画像処理によれば、画像比較モードにおいては、入力された入力画像に対して、パラメータ（ボリューム値）の異なる複数の画像処理を施し、その画像処理結果（処理後画像）を１画面で同時に表示するので、ユーザは、複数のパラメータのなかで入力画像に対して最適なパラメータを選択することができる。
【０２８６】
また、全画面モードにおいては、ユーザが選択した最適なパラメータで入力画像に対する画像処理を行うことができることは勿論であるが、画像処理後の処理後画像が１画面の画面全体のサイズ（大画面）で表示されることを考慮して、画像比較モードのときよりもタップ範囲を広くした、より高画質な処理を行うことができる。この全画面モード時に生成される大画面の合成画像は、画像処理部２１３−１乃至２１３−３それぞれがタップ範囲を分担して生成したものであり、画像処理部２１３−１乃至２１３−３のいずれか１つに、単純に２１画素のタップ範囲で行わせるより、３つの画像処理部２１３−１乃至２１３−３を有効に活用することができる他、処理も高速にすることができる。
【０２８７】
図１８は、本発明を適用した画像処理装置の第２実施の形態の構成例を示している。
【０２８８】
なお、図１４の画像処理装置２００と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０２８９】
図１８の画像処理装置２００は、画像入力部２１１、画像分配部２１２、画像提示部２１５、同期特徴量抽出部４７１、シーケンス再生部４７２Ａ乃至４７２Ｃ、スイッチャ部４７３、画像処理部４７５−１乃至４７５−３、画像合成部４７６、記憶部４７７、および制御部４７８により構成されている。
【０２９０】
図１８の画像処理装置２００も、図１４における場合と同様に、入力画像と、画像処理部４７５−１乃至４７５−３で処理された３種類の処理後画像を同時に表示して、３種類の処理後画像の中から、最適な画像処理設定を選択（決定）する画像比較モードと、画像比較モードで決定された画像処理設定による画像処理を施した画像を全画面で表示する全画面モードの２つの表示モードを有している。
【０２９１】
同期特徴量抽出部４７１は、図１９に示されるように、各入力画像が動画像中のどのシーンの画像であるかを表すタイムコードと、入力画像の同期特徴量とを対応付けた同期特徴量のタイムテーブル４６１を記憶する。ここで、同期特徴量とは、入力画像の同期をとるために用いられる画像の特徴量であり、１６ビットで表される、入力画像の輝度値の平均値（平均輝度値）と、入力画像の全画素の輝度値の合計値（合計輝度値）の下位１６ビットとからなる計３２ビットのデータである。２時間程度の映画などの、再現性のある入力画像では、上述の２つの特徴量を用いることにより、入力画像のシーンをほぼ確実に判定することができる。
【０２９２】
最初に、同期特徴量抽出部４７１は、画像分配部２１２から供給された入力画像の同期特徴量を算出する。図１９は、算出された同期特徴量が、平均輝度値“２４５６４”および合計輝度値の下位１６ビット“３２１５５”である例を示している。
【０２９３】
そして、同期特徴量抽出部４７１は、同期特徴量のタイムテーブル４６１から、同一の同期特徴量を持つタイムコードを検出し、シーケンス再生部４７２Ａ乃至４７２Ｃに供給する。図１９のタイムテーブル４６１では、タイムコード“２”に対応する同期特徴量が、算出された同期特徴量と一致している。従って、同期特徴量抽出部４７１は、タイムコード“２”をシーケンス再生部４７２Ａ乃至４７２Ｃに供給する。また、検出されたタイムコードは、記録再生部４７４にも供給される。
【０２９４】
なお、同期特徴量として、その他の画像の特徴量を採用することも勿論可能である。
【０２９５】
図１８に戻り、シーケンス再生部４７２Ａ乃至４７２Ｃは、それぞれ、タイムコードとズームパラメータとを対応付けたパラメータテーブルを記憶している。シーケンス再生部４７２Ａ乃至４７２Ｃは、同期特徴量抽出部４７１から供給されたタイムコードに対応するズームパラメータをスイッチャ部４７３に供給する。このズームパラメータにより、画像処理部４７５−１乃至４７５−３が拡大処理を行うときの処理領域が特定される。従って、シーケンス再生部４７２Ａ乃至４７２Ｃは、画像処理部４７５−１乃至４７５−３が拡大処理を行うときの処理領域を特定する領域特定情報を出力すると言える。
【０２９６】
シーケンス再生部４７２Ａ乃至４７２Ｃがパラメータテーブルとして記憶しているズームパラメータは、それぞれ異なるものである。したがって、同期特徴量抽出部４７１から同一のタイムコードがシーケンス再生部４７２Ａ乃至４７２Ｃに供給されるが、スイッチャ部４７３には、シーケンス再生部４７２Ａ乃至４７２Ｃそれぞれから異なるズームパラメータが供給される。
【０２９７】
より具体的には、シーケンス再生部４７２Ａは、同期特徴量抽出部４７１から供給されるタイムコードに対応して、ズームパラメータ（ｘa，ｙa，ｚa）をスイッチャ部４７３に供給する。シーケンス再生部４７２Ｂは、同期特徴量抽出部４７１から供給されるタイムコードに対応して、ズームパラメータ（ｘb，ｙb，ｚb）をスイッチャ部４７３に供給する。シーケンス再生部４７２Ｃは、同期特徴量抽出部４７１から供給されるタイムコードに対応して、ズームパラメータ（ｘc，ｙc，ｚc）をスイッチャ部４７３に供給する。
【０２９８】
ズームパラメータ（ｘa，ｙa，ｚa）は、拡大処理を行うときの中心位置（ｘa，ｙa）とズーム倍率ｚaを表す。ズームパラメータ（ｘb，ｙb，ｚb）および（ｘc，ｙc，ｚc）についても同様である。以下では、説明を簡単にするため、ズームパラメータ（ｘa，ｙa，ｚ）、（ｘb，ｙb，ｚb）、および（ｘc，ｙc，ｚc）を、それぞれ、ズームパラメータＡ，Ｂ、およびＣとも称する。
【０２９９】
スイッチャ部４７３は、画像比較モードにおいては、シーケンス再生部４７２Ａ乃至４７２Ｃから供給されるズームパラメータＡ乃至Ｃを、画像処理部４７５−１乃至４７５−３に１対１に供給する。より詳しくは、スイッチャ部４７３は、ズームパラメータＡを画像処理部４７５−１に供給し、ズームパラメータＢを画像処理部４７５−２に供給し、ズームパラメータＢを画像処理部４７５−３に供給する。
【０３００】
スイッチャ部４７３は、全画面モードにおいては、記録再生部４７４から供給される選択情報に従って、シーケンス再生部４７２Ａ乃至４７２Ｃから供給されるズームパラメータＡ乃至Ｃのうちのいずれか１つを、画像処理部４７５−１乃至４７５−３のすべてに供給する。
【０３０１】
選択情報とは、画像比較モードのときにユーザが選択したズームパラメータを表す情報である。従って、選択情報は、具体的には、ズームパラメータＡ乃至Ｃのいずれかとなる。
【０３０２】
記録再生部４７４は、画像比較モードにおいては、同期特徴量抽出部４７１から、入力画像のタイムコードが供給されるとともに、制御部４７８から、ユーザがリモートコマンダ等を操作して選択した拡大画像Ａ乃至Ｃに対応するズームパラメータＡ乃至Ｃについての情報（選択情報）が供給される。記録再生部４７４は、同期特徴量抽出部４７１から供給されるタイムコードと選択情報とを対応付けて記憶する。このタイムコードと選択情報の組を時系列に連続して記憶したデータが記録シーケンスとなる。従って、全画面モードで、スイッチャ部４７３が、記録再生部４７４からの選択情報に従って、３種類のズームパラメータＡ乃至Ｃから１つを選択して、画像処理部４７５−１乃至４７５−３に供給することを時系列に繰り返すことにより、画像提示部２１５において、画像比較モード時にユーザが選択した拡大画像を再現することができる。
【０３０３】
一方、全画面モードにおいては、同期特徴量抽出部４７１から、入力画像のタイムコードが供給され、記録再生部４７４は、内部に記憶している記録シーケンスに基づいて、供給されたタイムコードに対応するズームパラメータをスイッチャ部４７３に供給する。
【０３０４】
画像処理部４７５−１乃至４７５−３は、上述したクラス分類適応処理を行うことにより、スイッチャ部４７３から供給されるズームパラメータに基づく入力画像の拡大処理（リサイズ処理）を行う。また、全画面モードにおいては、画像処理部４７５−１乃至４７５−３は、拡大処理に加えて、時間解像度を創造する時間解像度創造処理も行う。
【０３０５】
画像比較モードにおいては、画像処理部４７５−１乃至４７５−３それぞれには、上述したように、シーケンス再生部４７２Ａ乃至４７２Ｃから、それぞれ異なるズームパラメータＡ乃至Ｃが１対１で供給される。従って、画像処理部４７５−１乃至４７５−３は、入力画像に対して異なる領域を拡大処理し、画像合成部４７６に供給する。
【０３０６】
一方、全画面モードでは、パラメータＡ乃至Ｃのうちのいずれか１つが、画像処理部４７５−１乃至４７５−３のすべてに供給される。従って、画像処理部４７５−１乃至４７５−３が拡大処理する対象の領域は同一の領域である。ただし、画像処理部４７５−１乃至４７５−３は、同一の入力画像から、時間軸方向に対して異なる位置（時刻）の拡大画像を生成する。これにより、所定の領域を拡大した拡大画像であって、時間解像度を創造（向上）した画像を提示することができる。なお、画像処理部４７５−１乃至４７５−３の詳細な処理については、図２１乃至図２５を参照して後述する。
【０３０７】
画像合成部４７６は、画像比較モードにおいては、画像処理部４７５−１乃至４７５−３から供給される拡大画像Ａ乃至Ｃと画像分配部２１２から供給される入力画像を合成した合成画像を生成し、画像提示部２１５に供給する。一方、全画面モードにおいては、画像合成部４７６は、画像処理部４７５−１乃至４７５−３で生成された異なる時刻の拡大画像を、時刻の早い順に画像提示部２１５に供給する。従って、全画面モードでは、入力画像の３倍のフレームレートで拡大画像が表示される。
【０３０８】
記憶部４７７は、クラス分類適応処理に用いるタップ係数を生成するための係数種データを記憶する。具体的には、記憶部４７７は、画像比較モードにおいて拡大処理を行う場合の係数種データである拡大係数と、全画面モードにおいて拡大処理および時間解像度創造処理を行う場合の係数種データである時間係数を記憶する。記憶部４７７に記憶される各種の係数は、必要に応じて、画像処理部４７５−１乃至４７５−３に供給される。
【０３０９】
制御部４７８は、ユーザがリモートコマンダ等を操作したときの操作情報を取得し、ユーザの操作に基づいて、記録再生部４７４、画像処理部４７５−１乃至４７５−３、および画像合成部４７６を適宜制御する。例えば、制御部４７８は、画像比較モード時に、ユーザが画像提示部２１５で提示されている拡大画像Ａ乃至Ｃのうちのどの拡大画像を選択したかを表す選択情報を記録再生部４７４および画像合成部４７６に供給する。また、制御部４７８は、ユーザによって表示モードが切り替えられた場合に、切り替え後の表示モードをモード情報として画像処理部４７５−１乃至４７５−３に供給する。
【０３１０】
以上のように構成される画像処理装置２００は、表示モードが画像比較モードである場合には、入力画像と、画像処理部４７５−１乃至４７５−３で処理された３種類の拡大画像Ａ乃至Ｃを同時に表示して、３種類の拡大画像Ａ乃至Ｃの中から、最適な拡大画像をユーザに選択（決定）させ、表示モードが全画面モードである場合には、画像比較モードで決定された拡大画像を再現するとともに、時間解像度を創造し、入力画像の３倍のフレームレートで表示する。
【０３１１】
図２０は、画像比較モードにおいて画像提示部２１５で表示される表示画面４００の例を示している。
【０３１２】
表示画面４００では、その領域が均等に４分割されており、その左上が主画面領域２８１、その他の３領域が副画面領域２８２−１乃至２８２−３となっている。
【０３１３】
画像合成部４７６は、主画面領域２８１に画像分配部２１２から供給される入力画像が配置され、副画面領域２８２−１乃至２８２−３に画像処理部４７５−１乃至４７５−３から供給される拡大画像Ａ乃至Ｃがそれぞれ配置される合成画像を生成する。また、画像合成部４７６は、制御部４７８から供給される選択情報に応じて、ハイライト表示２９１を副画面領域２８２−１乃至２８２−３のいずれかに表示させる。換言すれば、画像合成部４７６は、入力画像と拡大画像Ａ乃至Ｃとを合成した合成画像にハイライト表示２９１を重畳させた画像を生成し、画像提示部２１５に供給する。
【０３１４】
次に、図２１と図２２を参照して、表示モードが画像比較モードである場合の図１８の画像処理装置２００の処理について説明する。
【０３１５】
また、その後、図２３と図２４を参照して、表示モードが全画面モードである場合の図１８の画像処理装置２００の処理について説明する。
【０３１６】
図２１は、表示モードが画像比較モードである場合の図１８の画像処理装置２００の機能ブロック図である。
【０３１７】
表示モードが画像比較モードである場合には、画像処理部４７５−１乃至４７５−３は、上述したように、入力画像に対して異なる領域を拡大する処理を行うので、図２１では、画像処理部４７５−１乃至４７５−３を拡大処理部４７５Ａ乃至４７５Ｃとしている。
【０３１８】
画像比較モードにおいては、スイッチャ部４７３は、図２１に示されるように、シーケンス再生部４７２Ａから供給されるズームパラメータ（ｘa，ｙa，ｚa）を拡大処理部４７５Ａに供給する。また、スイッチャ部４７３は、シーケンス再生部４７２Ｂから供給されるズームパラメータ（ｘb，ｙb，ｚb）を拡大処理部４７５Ｂに供給し、シーケンス再生部４７２Ｃから供給されるズームパラメータ（ｘc，ｙc，ｚc）を拡大処理部４７５Ｃに供給する。
【０３１９】
最初に、拡大処理部４７５Ａは、ズーム倍率ｚaに対応する拡大係数を記憶部４７７から取得する。このズーム倍率ｚaと拡大係数との関係は、例えば、上述した図７の画像変換装置５１におけるパラメータｚと係数種データとの関係と同様である。すなわち、図７の画像変換装置５１では、パラメータｚと係数種データとに基づいてクラスごとのタップ係数を生成することができるが、ズーム倍率ｚaが画像変換装置５１のパラメータｚに対応し、拡大係数が画像変換装置５１の係数種データに対応する。ズーム倍率ｚaと記憶部４７７から取得された拡大係数を用いて生成されたタップ係数を用いてクラス分類適応処理を実行することにより、入力画像の位置（ｘa，ｙa）を中心位置として所定のズーム倍率の拡大処理が行われる。ズーム倍率ｚbまたはｚcと拡大係数との関係も同様である。
【０３２０】
従って、拡大処理部４７５Ａは、入力画像の位置（ｘa，ｙa）を中心位置とし、ズーム倍率ｚaで特定される領域に対して拡大処理を実行し、その結果得られる拡大画像Ａを画像合成部４７６に供給する。
【０３２１】
同様に、拡大処理部４７５Ｂは、ズーム倍率ｚbに対応する拡大係数を記憶部４７７から取得し、入力画像の位置（ｘb，ｙb）を中心位置とし、ズーム倍率ｚbで特定される領域に対して拡大処理を実行し、その結果得られる拡大画像Ｂを画像合成部４７６に供給する。拡大処理部４７５Ｃは、ズーム倍率ｚcに対応する拡大係数を記憶部４７７から取得し、入力画像の位置（ｘc，ｙc）を中心位置とし、ズーム倍率ｚcで特定される領域に対して拡大処理を実行し、その結果得られる拡大画像Ｃを画像合成部４７６に供給する。
【０３２２】
図２２は、四角（菱形）と丸が対象物として撮像されている入力画像が供給された場合の、拡大処理部４７５Ａ乃至４７５Ｃによる拡大処理の例を示している。
【０３２３】
拡大処理部４７５Ａには、四角を囲む範囲をほぼ全範囲とするズームパラメータ（ｘa，ｙa，ｚa）が供給され、それに対応して、拡大処理部４７５Ａは、拡大画像Ａを生成する。
【０３２４】
拡大処理部４７５Ｂには、四角と丸の両方を囲む範囲をほぼ全範囲とするズームパラメータ（ｘb，ｙb，ｚb）が供給され、それに対応して、拡大処理部４７５Ｂは、拡大画像Ｂを生成する。
【０３２５】
拡大処理部４７５Ｃには、丸を囲む範囲をほぼ全範囲とするズームパラメータ（ｘc，ｙc，ｚc）が供給され、それに対応して、拡大処理部４７５Ｃは、拡大画像Ｃを生成する。
【０３２６】
そして、拡大画像Ａ乃至Ｃが入力画像とともに画像合成部４７６に供給され、画像合成部４７６は、図２２に示されるように、主画面領域２８１に入力画像が、副画面領域２８２−１に拡大画像Ａが、副画面領域２８２−２に拡大画像Ｂが、副画面領域２８２−３に拡大画像Ｃが、それぞれ配置されるような合成画像を生成する。
【０３２７】
図２３は、表示モードが全画面モードである場合の図１８の画像処理装置２００の機能ブロック図である。
【０３２８】
表示モードが全画面モードである場合には、画像処理部４７５−１乃至４７５−３は、上述したように、拡大処理に加えて、時間解像度を創造する時間解像度創造処理も行うので、図２３では、画像処理部４７５−１乃至４７５−３を時間処理部４７５Ａ’乃至４７５Ｃ’としている。
【０３２９】
また、図２３の例では、ユーザが拡大画像Ｂを選択したことを表す選択情報が、記録再生部４７４からスイッチャ部４７３に供給されているものとする。
【０３３０】
スイッチャ部４７３には、記録再生部４７４からズームパラメータＢを表す選択情報が供給されているので、スイッチャ部４７３は、シーケンス再生部４７２Ａ乃至４７２Ｃから供給されるズームパラメータＡ乃至ＣのうちのズームパラメータＢを選択し、時間処理部４７５Ａ’乃至４７５Ｃ’のすべてに供給する。
【０３３１】
時間処理部４７５Ａ’乃至４７５Ｃ’は、ズーム倍率ｚbに対応する時間係数を記憶部４７７から取得し、ズーム倍率ｚbと時間係数とから生成されるタップ係数を用いたクラス分類適応処理を行うことで、入力画像の位置（ｘb，ｙb）を中心位置とする所定の領域を拡大した拡大画像であって、ある入力画像が供給されてから次の入力画像が供給されるまでの時間を１フレーム時間Ｔとしたとき、時間処理部４７５Ａ’乃至４７５Ｃ’それぞれが生成する拡大画像が、１／３Ｔ時間だけずれた時刻の拡大画像Ｂ1乃至４７５Ｂ3を生成する。
【０３３２】
より具体的には、図２４に示すように、時刻（タイムコード）ｔにおいて、図２２における場合と同一の、四角と丸が対象物として撮像されている入力画像が時間処理部４７５Ａ’乃至４７５Ｃ’に供給されたとすると、時間処理部４７５Ａ’は、画像比較モードで生成した拡大画像と同一の拡大画像である、入力画像の同時刻の時刻ｔと、位置（ｘb，ｙb）を中心に拡大した拡大画像Ｂ1を生成する。
【０３３３】
時間処理部４７５Ｂ’は、入力画像の時刻ｔよりＴ／３時間後の時刻ｔ＋Ｔ／３の、位置（ｘb，ｙb）を中心に拡大した拡大画像Ｂ2を生成する。時間処理部４７５Ｃ’は、入力画像の時刻ｔより２Ｔ／３時間後の時刻ｔ＋２Ｔ／３の、位置（ｘb，ｙb）を中心に拡大した拡大画像Ｂ3を生成する。
【０３３４】
画像合成部４７６は、時間処理部４７５Ａ’乃至４７５Ｃ’から供給される拡大画像Ｂ1乃至４７５Ｂ3を、その順で画像提示部２１５に供給する。その結果、画像提示部２１５では、入力画像の３倍のフレームレートで拡大画像が表示される。
【０３３５】
所定の連続時間における画像比較モードと全画面モードの違いを、概念的に示すと図２５に示すようになる。
【０３３６】
画像比較モードにおいて、例えば、ユーザが、時刻ｔ（１）からｔ（２０）までは、ハイライト表示２９１を拡大画像Ｃに移動させ、拡大画像Ｃを選択しており、時刻ｔ（２０）からｔ（３５）までは、ハイライト表示２９１を拡大画像Ｂに移動させ、拡大画像Ｂを選択したとする。同様に、ユーザは、時刻ｔ（３５）からｔ（４５）までは、拡大画像Ｃを選択し、時刻ｔ（４５）からｔ（６０）までは、拡大画像Ａを選択したとする。
【０３３７】
この場合、時刻（タイムコード）とそのとき選択されている拡大画像（ズームパラメータ）が記録シーケンスとして記録される。即ち、時刻ｔ（１）からｔ（２０）まではズームパラメータＣ、時刻ｔ（２０）からｔ（３５）まではズームパラメータＢ、時刻ｔ（３５）からｔ（４５）まではズームパラメータＣ、時刻ｔ（４５）からｔ（６０）まではズームパラメータＡ、という記録シーケンスが記録再生部４７４に記憶される。
【０３３８】
そして、全画面モードにおいては、記録再生部４７４に記憶された記録シーケンスに従って、表示画面４００の全画面に拡大された拡大画像が表示される。ただし、全画面モードのときに画像提示部２１５に提示される動画像のフレームレートは、入力される動画像の３倍のフレームレートである。
【０３３９】
次に、図２６及び図２７のフローチャートを参照して図１８の画像処理装置２００による第２の画像処理について説明する。図２６は、第２の画像処理のうちの、表示モードが画像比較モードである場合の処理（画像比較表示処理）のフローチャートであり、図２７は、第２の画像処理のうちの、表示モードが全画面モードである場合の処理（選択画像表示処理）のフローチャートである。
【０３４０】
なお、図２６および図２７に示す処理の前には、表示モードが画像比較モードまたは全画面モードであることを表すモード情報が、制御部４７８から画像処理部４７５−１乃至４７５−３に供給されている。
【０３４１】
図２６の画像比較表示処理では、初めに、ステップＳ１０１において、画像分配部２１２は、画像入力部２１１から入力画像が供給されたかを判定する。ステップＳ１０１で、入力画像が供給されないと判定された場合、処理は終了する。
【０３４２】
一方、ステップＳ１０１で、画像入力部２１１から入力画像が供給されたと判定された場合、処理はステップＳ１０２に進み、画像分配部２１２は、画像入力部２１１から供給された入力画像を分配する。即ち、画像分配部２１２は、入力画像を拡大処理部４７５Ａ乃至４７５Ｃおよび画像合成部２１４に供給する。
【０３４３】
ステップＳ１０３において、同期特徴量抽出部４７１は、画像分配部２１２から供給された入力画像の同期特徴量を算出し、ステップＳ１０４において、タイムテーブル４６１を参照することにより、算出された同期特徴量に対応するタイムコードを検出する。検出されたタイムコードは、シーケンス再生部４７２Ａ乃至４７２Ｃと記録再生部４７４に供給される。
【０３４４】
ステップＳ１０５において、記録再生部４７４は、同期特徴量抽出部４７１から供給されたタイムコードと、制御部４７８から供給されるズームパラメータＡ乃至Ｃのいずれかを表す選択情報とを対応付けたデータを記録シーケンスとして記憶する。
【０３４５】
ステップＳ１０６において、シーケンス再生部４７２Ａ乃至４７２Ｃは、タイムコードとズームパラメータとを対応付けたパラメータテーブルを参照し、供給されたタイムコードに対応するズームパラメータをスイッチャ部４７３に供給する。即ち、シーケンス再生部４７２Ａは、ズームパラメータＡをスイッチャ部４７３に供給し、シーケンス再生部４７２Ｂは、ズームパラメータＢをスイッチャ部４７３に供給する。シーケンス再生部４７２Ｃは、ズームパラメータＣをスイッチャ部４７３に供給する。
【０３４６】
ステップＳ１０７において、スイッチャ部４７３は、ズームパラメータＡ乃至Ｃを、拡大処理部４７５Ａ乃至４７５Ｃに１対１に供給する。即ち、スイッチャ部４７３は、ズームパラメータＡを拡大処理部４７５Ａに供給し、ズームパラメータＢを拡大処理部４７５Ｂに供給し、ズームパラメータＣを拡大処理部４７５Ｃに供給する。
【０３４７】
ステップＳ１０８において、拡大処理部４７５Ａ乃至４７５Ｃは、それぞれ、拡大処理を実行し、処理後の拡大画像Ａ乃至Ｃを画像合成部４７６に供給する。
【０３４８】
ステップＳ１０９において、画像合成部４７６は、画像分配部２１２から供給された入力画像と、拡大処理部４７５Ａ乃至４７５Ｃから供給された拡大画像Ａ乃至Ｃを用いて合成画像を生成し、画像提示部２１５に供給する。
【０３４９】
ステップＳ１１０において、画像提示部２１５は、画像合成部４７６から供給される合成画像を所定の表示部に表示することにより、合成画像をユーザに提示する。ステップＳ１１０の処理後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返し実行される。
【０３５０】
図２７の選択画像表示処理では、初めに、ステップＳ１２１において、画像分配部２１２は、画像入力部２１１から入力画像が供給されたかを判定する。ステップＳ１２１で、入力画像が供給されないと判定された場合、処理は終了する。
【０３５１】
一方、ステップＳ１２１で、画像入力部２１１から入力画像が供給されたと判定された場合、処理はステップＳ１２２に進み、画像分配部２１２は、画像入力部２１１から供給された入力画像を分配する。即ち、画像分配部２１２は、入力画像を時間処理部４７５Ａ’乃至４７５Ｃ’に供給する。
【０３５２】
ステップＳ１２３において、同期特徴量抽出部４７１は、画像分配部２１２から供給された入力画像の同期特徴量を算出し、ステップＳ１２４において、タイムテーブル４６１を参照することにより、算出された同期特徴量に対応するタイムコードを検出する。検出されたタイムコードは、シーケンス再生部４７２Ａ乃至４７２Ｃと記録再生部４７４に供給される。
【０３５３】
ステップＳ１２５において、記録再生部４７４は、同期特徴量抽出部４７１から供給されたタイムコードに対応する選択情報を記録シーケンスから取得し、スイッチャ部４７３に供給する。
【０３５４】
ステップＳ１２６において、シーケンス再生部４７２Ａ乃至４７２Ｃは、タイムコードとズームパラメータとを対応付けたパラメータテーブルを参照し、供給されたタイムコードに対応するズームパラメータをスイッチャ部４７３に供給する。即ち、シーケンス再生部４７２Ａは、ズームパラメータＡをスイッチャ部４７３に供給し、シーケンス再生部４７２Ｂは、ズームパラメータＢをスイッチャ部４７３に供給する。シーケンス再生部４７２Ｃは、ズームパラメータＣをスイッチャ部４７３に供給する。
【０３５５】
ステップＳ１２７において、スイッチャ部４７３は、記録再生部４７４から供給される選択情報に基づいて、シーケンス再生部４７２Ａ乃至４７２Ｃから供給されるズームパラメータＡ乃至Ｃのうちのいずれか１つを、時間処理部４７５Ａ’乃至４７５Ｃ’のすべてに供給する。
【０３５６】
ステップＳ１２８において、時間処理部４７５Ａ’乃至４７５Ｃ’は、ズーム倍率（ｚa，ｚb，ｚcのいずれか）と時間係数とから生成されたタップ係数を用いたクラス分類適応処理を行うことにより、拡大処理と、時間解像度を３倍に創造した時間解像度創造処理を同時に実行し、その結果得られる拡大画像を画像合成部４７６に供給する。例えば、図２４を参照して説明したように、選択情報としてズームパラメータＢが供給された場合には、入力画像と同時刻ｔの拡大画像Ｂ1、時刻ｔ＋Ｔ／３の拡大画像Ｂ2、および時刻ｔ＋２Ｔ／３の拡大画像Ｂ3が画像合成部４７６に供給される。
【０３５７】
ステップＳ１２９において、画像合成部４７６は、画像分配部２１２から供給された３枚の拡大画像を時系列に順次画像提示部２１５に供給する。ステップＳ１２９の処理後、処理はステップＳ１２１に戻り、それ以降の処理が繰り返し実行される。
【０３５８】
全画面モードでは、以上の処理が行われることにより、入力画像の３倍のフレームレートで、画像比較モード時にユーザが選択した拡大画像が表示される。
【０３５９】
以上のように、図１８の画像処理装置２００によれば、画像比較モードにおいては、画像分配部２１２から供給された入力画像と、拡大処理された拡大画像Ａ乃至Ｃとが同時に画像提示部２１５において表示されるので、ユーザは、入力画像を確認しながら、拡大画像Ａ乃至Ｃのなかから所望の拡大画像を選択することができる。
【０３６０】
また、ユーザがどの拡大画像Ａ乃至Ｃを選択したかを表す選択情報が記録シーケンスとして記録再生部４７４に記録されるので、全画面モードでは、その記録シーケンスに基づいて、ユーザが選択したとおりの構図の拡大画像を再生（再現）することができる。
【０３６１】
記録再生部４７４に記録されている記録シーケンスに基づいて、ユーザが選択したとおりの構図を再現して表示するだけであれば、全画面モードでは、画像処理部４７５−１乃至４７５−３のいずれか１つだけを用いればよいので、残りの２つが利用されないことになるが、上述した例では、画像処理部４７５−１乃至４７５−３が、同一の領域であって、時刻を少しずらした拡大画像を生成するので、時間解像度が向上した高画質な拡大画像を生成することができ、さらに画像処理部４７５−１乃至４７５−３のすべてを使用することになるので、画像処理部４７５−１乃至４７５−３を有効に活用することができる。
【０３６２】
なお、上述した例では、１つの動画像（入力画像）に対して、ユーザの選択情報を時系列に記録して再現する例について説明したが、複数の動画像（入力画像）に対して適用することも可能である。例えば、画像比較モードにおいて、２種類の動画像に対して２種類の拡大処理を実行し、入力画像と４種類の拡大画像を合成した合成画像を表示して、ユーザが４種類の拡大画像のなかからいずれの拡大画像を選択したかを表す情報を選択情報として記録することができる。
【０３６３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３６４】
図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３６５】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０３６６】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０３６７】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した第１または第２の画像処理が行われる。
【０３６８】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３６９】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０３７０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３７１】
また、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３７２】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３７３】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３７４】
【図１】クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示すブロック図である。
【図２】画像変換装置による画像変換処理を説明するフローチャートである。
【図３】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図４】学習装置の学習部の構成例を示すブロック図である。
【図５】各種の画像変換処理を説明するための図である。
【図６】学習装置による学習処理を説明するフローチャートである。
【図７】クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示すブロック図である。
【図８】画像変換装置の係数出力部の構成例を示すブロック図である。
【図９】係数種データを学習する学習装置の構成例を示すブロック図である。
【図１０】学習装置の学習部の構成例を示すブロック図である。
【図１１】学習装置による学習処理を説明するフローチャートである。
【図１２】係数種データを学習する学習装置の構成例を示すブロック図である。
【図１３】学習装置の学習部の構成例を示すブロック図である。
【図１４】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図１５】画像比較モードと全画面モードの画面例を示す図である。
【図１６】画像比較モードおよび全画面モードにおけるタップ範囲の例を示す図である。
【図１７】第１の画像処理を説明するフローチャートである。
【図１８】本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１９】タイムコードの検出を説明する図である。
【図２０】画像比較モードにおいて表示される画面例を示す図である。
【図２１】表示モードが画像比較モードである場合の画像処理装置の機能ブロック図である。
【図２２】表示モードが画像比較モードである場合の処理例を示す図である。
【図２３】表示モードが全画面モードである場合の画像処理装置の機能ブロック図である。
【図２４】表示モードが全画面モードである場合の処理例を示す図である。
【図２５】画像比較モードと全画面モードの違いを概念的に示す図である。
【図２６】画像比較表示処理を説明するフローチャートである。
【図２７】選択画像表示処理を説明するフローチャートである。
【図２８】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３７５】
２００  画像処理装置，  ２１３−１乃至２１３−３  画像処理部，  ２１４  画像合成部，  ２１５  画像提示部，  ２１６  記憶部，  ２１７  制御部，  ４７１  同期特徴量抽出部，  ４７２Ａ乃至４７２Ｃ  シーケンス再生部，  ４７３  スイッチャ部，  ４７４  記録再生部，  ４７５−１乃至４７５−３  画像処理部，  ４７６  画像合成部，  ４７７  記憶部，  ４７８  制御部
【図１】
2009026026.tif 000031
【図２】
2009026026.tif 000032
【図３】
2009026026.tif 000033
【図４】
2009026026.tif 000034
【図５】
2009026026.tif 000035
【図６】
2009026026.tif 000036
【図７】
2009026026.tif 000037
【図８】
2009026026.tif 000038
【図９】
2009026026.tif 000039
【図１０】
2009026026.tif 000040
【図１１】
2009026026.tif 000041
【図１２】
2009026026.tif 000042
【図１３】
2009026026.tif 000043
【図１４】
2009026026.tif 000044
【図１５】
2009026026.tif 000045
【図１６】
2009026026.tif 000046
【図１７】
2009026026.tif 000047
【図１８】
2009026026.tif 000048
【図１９】
2009026026.tif 000049
【図２０】
2009026026.tif 000050
【図２１】
2009026026.tif 000051
【図２２】
2009026026.tif 000052
【図２３】
2009026026.tif 000053
【図２４】
2009026026.tif 000054
【図２５】
2009026026.tif 000055
【図２６】
2009026026.tif 000056
【図２７】
2009026026.tif 000057
【図２８】
2009026026.tif 000058