(57)【特許請求の範囲】
【請求項１】
動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理手段と、
前記複数の画質変更処理手段による処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定する制御手段と、
前記制御手段で決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行う複数の拡大処理手段と、
前記複数の拡大処理手段で処理された画像である複数の拡大処理後画像を合成した合成画像を生成する合成画像生成手段と
を備える画像処理装置。
【請求項２】
前記制御手段は、前記複数の変更処理後画像どうしを比較したときの差が大となる位置を前記所定位置として決定する
請求項１に記載の画像処理装置。
【請求項３】
前記合成画像は、ユーザによって指示された前記拡大処理後画像である主画像と、それ以外の前記拡大処理後画像である複数の副画像からなり、
前記合成画像生成手段は、ユーザの指示に基づいて、前記主画像とされている前記拡大処理後画像と、前記副画像とされている前記拡大処理後画像の配置を変更する
請求項１に記載の画像処理装置。
【請求項４】
前記合成画像生成手段は、ユーザによって選択された前記副画像をハイライト表示させる
請求項３に記載の画像処理装置。
【請求項５】
前記合成画像は、１つの画面に表示される
請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記主画像が１つの画面で表示され、前記複数の副画像が１つの画面で表示される
請求項３に記載の画像処理装置。
【請求項７】
動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理を行い、
前記複数の画質変更処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定し、
決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行い、
前記複数の変更処理後画像が前記拡大処理された複数の拡大処理後画像を合成した合成画像を生成する
ステップを含む画像処理方法。
【請求項８】
動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理を行い、
前記複数の画質変更処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定し、
決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行い、
前記複数の変更処理後画像が前記拡大処理された複数の拡大処理後画像を合成した合成画像を生成する
処理をコンピュータに実行させるプログラム。
【請求項９】
動画像を構成する画像であって順次入力される１の入力画像に対して、複数の異なる画像処理を行う複数の画像処理手段と、
複数の前記画像処理手段それぞれで処理された画像である複数の処理後画像を合成した合成画像を生成する合成画像生成手段と
を備え、
複数の前記画像処理手段のそれぞれは、
前記入力画像の所定位置を、複数の前記画像処理手段それぞれで異なる追尾方式で追尾する追尾処理手段と、
前記追尾処理手段により追尾処理された結果である追尾位置を基準に拡大処理する拡大処理手段と
を有する
画像処理装置。
【請求項１０】
複数の前記追尾処理手段による複数の前記追尾位置のうち、ユーザが選択した前記追尾位置を前記所定位置として前記追尾処理手段に供給する制御手段をさらに備える
請求項９に記載の画像処理装置。
【請求項１１】
前記合成画像は、ユーザによって指示された処理後画像である主画像と、それ以外の処理画像である複数の副画像からなり、
前記合成画像生成手段は、前記主画像の前記追尾位置と前記副画像の前記追尾位置の差を表す追尾差分ベクトルの水平成分と垂直成分の比に応じて、前記副画像の配置を変更する
請求項９に記載の画像処理装置。
【請求項１２】
動画像を構成する画像であって順次入力される１の入力画像の所定位置を異なる複数の追尾方式で追尾して、その結果得られる複数の追尾位置を基準に前記入力画像をそれぞれ拡大処理し、
前記複数の追尾位置を基準に拡大処理して得られた複数の拡大処理後画像を合成した合成画像を生成する
ステップを含む画像処理方法。
【請求項１３】
動画像を構成する画像であって順次入力される１の入力画像の特徴量に基づいて、前記入力画像が前記動画像のどのシーンであるかを表すタイムコードを検出する検出手段と、
前記タイムコードと画像内の所定位置とが対応付けられている複数のパラメータテーブルを参照して、検出された前記タイムコードに対応する前記入力画像内の複数の異なる所定位置を決定する決定手段と、
前記決定手段により決定された前記複数の異なる所定位置を基準に前記入力画像を拡大処理する複数の拡大処理手段と、
前記複数の拡大処理手段で処理された画像である複数の拡大処理後画像を合成した合成画像を生成する合成画像生成手段と
を備える画像処理装置。
【請求項１４】
前記複数の拡大処理手段には、高画質な拡大処理を行う前記拡大処理手段と、低画質な拡大処理を行う前記拡大処理手段とがあり、
前記複数の拡大処理手段それぞれにより拡大処理された複数の拡大画像のうち、ユーザが選択した拡大画像を、高画質な拡大処理を行う前記拡大処理手段で処理するように、前記決定手段により決定された前記所定位置の前記拡大処理手段への供給を制御する制御手段をさらに備える
請求項１３に記載の画像処理装置。
【請求項１５】
前記合成画像は、ユーザによって指示された前記拡大処理後画像である主画像と、それ以外の前記拡大処理後画像である複数の副画像からなり、
前記合成画像生成手段は、高画質な拡大処理を行う前記拡大処理手段で処理された拡大処理後画像が前記主画像となるように、前記拡大処理後画像の配置を変更する
請求項１４に記載の画像処理装置。
【請求項１６】
前記合成画像生成手段は、前記主画像の前記拡大処理後画像と、前記副画像の前記拡大処理後画像との相関値を計算し、前記相関値の大きい順に複数の前記副画像の配置を変更する
請求項１５に記載の画像処理装置。
【請求項１７】
動画像を構成する画像であって順次入力される１の入力画像の特徴量に基づいて、前記入力画像が前記動画像のどのシーンであるかを表すタイムコードを検出し、
前記タイムコードと画像内の所定位置とが対応付けられている複数のパラメータテーブルを参照して、検出された前記タイムコードに対応する複数の異なる所定位置を決定し、
前記複数の異なる所定位置それぞれを基準に前記入力画像を拡大処理し、
複数の前記拡大処理の処理後画像である複数の拡大処理後画像を合成した合成画像を生成する
ステップを含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、１つの動画像に対して複数の異なる画像処理を施したときの処理後画像を容易に比較する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
ある画像に対して、複数の異なる画像処理を施し、その画像処理結果どうしを比較検討する場合、複数の画像処理後の処理後画像を１つのモニタに交互に表示させ比較する手法が簡単には考えられる。また、複数の処理後画像を同時にモニタに表示させ比較するといった手法も存在する（例えば、特許文献１，２参照）。
【０００３】
【特許文献１】特開２０００−３０５１９３号公報
【特許文献２】特開２００６−６７１５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、比較対象の複数の処理後画像が静止画像である場合には、モニタ上に並べて表示された処理後画像をじっくり比較検討することができるが、比較対象の複数の処理後画像が動画像である場合には画像が瞬時に変化していくため、モニタ上に並べて表示された処理後画像を単純に見るだけでは比較することが難しい。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、１つの動画像に対して複数の異なる画像処理を施したときの処理後画像を容易に比較することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面の画像処理装置は、動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理手段と、前記複数の画質変更処理手段による処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定する制御手段と、前記制御手段で決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行う複数の拡大処理手段と、前記複数の拡大処理手段で処理された画像である複数の拡大処理後画像を合成した合成画像を生成する合成画像生成手段とを備える。
【０００８】
前記制御手段には、前記複数の変更処理後画像どうしを比較したときの差が大となる位置を前記所定位置として決定させることができる。
【０００９】
前記合成画像は、ユーザによって指示された前記拡大処理後画像である主画像と、それ以外の前記拡大処理後画像である複数の副画像からなり、前記合成画像生成手段には、ユーザの指示に基づいて、前記主画像とされている前記拡大処理後画像と、前記副画像とされている前記拡大処理後画像の配置を変更させることができる。
【００１０】
前記合成画像生成手段には、ユーザによって選択された前記副画像をハイライト表示させることができる。
【００１１】
本発明の第１の側面の画像処理方法は、動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理を行い、前記複数の画質変更処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定し、決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行い、前記複数の変更処理後画像が前記拡大処理された複数の拡大処理後画像を合成した合成画像を生成するステップを含む。
本発明の第１の側面のプログラムは、動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理を行い、前記複数の画質変更処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定し、決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行い、前記複数の変更処理後画像が前記拡大処理された複数の拡大処理後画像を合成した合成画像を生成する処理をコンピュータに実行させる。
本発明の第１の側面においては、動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理が行われ、前記複数の画質変更処理後の複数の変更処理後画像に基づいて、画像内の所定位置が決定され、決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理が行われ、前記複数の変更処理後画像が前記拡大処理された複数の拡大処理後画像を合成した合成画像が生成される。
【００１２】
本発明の第２の側面の画像処理装置は、動画像を構成する画像であって順次入力される１の入力画像に対して、複数の異なる画像処理を行う複数の画像処理手段と、複数の前記画像処理手段それぞれで処理された画像である複数の処理後画像を合成した合成画像を生成する合成画像生成手段とを備え、複数の前記画像処理手段のそれぞれは、前記入力画像の所定位置を、複数の前記画像処理手段それぞれで異なる追尾方式で追尾する追尾処理手段と、前記追尾処理手段により追尾処理された結果である追尾位置を基準に拡大処理する拡大処理手段とを有する。
【００１３】
複数の前記追尾処理手段による複数の前記追尾位置のうち、ユーザが選択した前記追尾位置を前記所定位置として前記追尾処理手段に供給する制御手段をさらに設けることができる。
【００１４】
前記合成画像は、ユーザによって指示された処理後画像である主画像と、それ以外の処理画像である複数の副画像からなり、前記合成画像生成手段には、前記主画像の前記追尾位置と前記副画像の前記追尾位置の差を表す追尾差分ベクトルの水平成分と垂直成分の比に応じて、前記副画像の配置を変更させることができる。
本発明の第２の側面の画像処理方法は、動画像を構成する画像であって順次入力される１の入力画像の所定位置を異なる複数の追尾方式で追尾して、その結果得られる複数の追尾位置を基準に前記入力画像をそれぞれ拡大処理し、前記複数の追尾位置を基準に拡大処理して得られた複数の拡大処理後画像を合成した合成画像を生成するステップを含む。
本発明の第２の側面においては、動画像を構成する画像であって順次入力される１の入力画像の所定位置が異なる複数の追尾方式で追尾されて、その結果得られる複数の追尾位置を基準に前記入力画像がそれぞれ拡大処理され、前記複数の追尾位置を基準に拡大処理して得られた複数の拡大処理後画像を合成した合成画像が生成される。
【００１５】
本発明の第３の側面の画像処理装置は、動画像を構成する画像であって順次入力される１の入力画像の特徴量に基づいて、前記入力画像が前記動画像のどのシーンであるかを表すタイムコードを検出する検出手段と、前記タイムコードと画像内の所定位置とが対応付けられている複数のパラメータテーブルを参照して、検出された前記タイムコードに対応する前記入力画像内の複数の異なる所定位置を決定する決定手段と、前記決定手段により決定された前記複数の異なる所定位置を基準に前記入力画像を拡大処理する複数の拡大処理手段と、前記複数の拡大処理手段で処理された画像である複数の拡大処理後画像を合成した合成画像を生成する合成画像生成手段とを備える。
【００１６】
前記複数の拡大処理手段には、高画質な拡大処理を行う前記拡大処理手段と、低画質な拡大処理を行う前記拡大処理手段とがあり、前記複数の拡大処理手段それぞれにより拡大処理された複数の拡大画像のうち、ユーザが選択した拡大画像を、高画質な拡大処理を行う前記拡大処理手段で処理するように、前記決定手段により決定された前記所定位置の前記拡大処理手段への供給を制御する制御手段をさらに設けることができる。
【００１７】
前記合成画像は、ユーザによって指示された前記拡大処理後画像である主画像と、それ以外の前記拡大処理後画像である複数の副画像からなり、前記合成画像生成手段には、高画質な拡大処理を行う前記拡大処理手段で処理された拡大処理後画像が前記主画像となるように、前記拡大処理後画像の配置を変更させることができる。
【００１８】
前記合成画像生成手段には、前記主画像の前記拡大処理後画像と、前記副画像の前記拡大処理後画像との相関値を計算し、前記相関値の大きい順に複数の前記副画像の配置を変更させることができる。
【００１９】
本発明の第３の側面の画像処理方法は、動画像を構成する画像であって順次入力される１の入力画像の特徴量に基づいて、前記入力画像が前記動画像のどのシーンであるかを表すタイムコードを検出し、前記タイムコードと画像内の所定位置とが対応付けられている複数のパラメータテーブルを参照して、検出された前記タイムコードに対応する複数の異なる所定位置を決定し、前記複数の異なる所定位置それぞれを基準に前記入力画像を拡大処理し、複数の前記拡大処理の処理後画像である複数の拡大処理後画像を合成した合成画像を生成するステップを含む。
【００２０】
本発明の第３の側面においては、動画像を構成する画像であって順次入力される１の入力画像の特徴量に基づいて、前記入力画像が前記動画像のどのシーンであるかを表すタイムコードが検出され、前記タイムコードと画像内の所定位置とが対応付けられている複数のパラメータテーブルを参照して、検出された前記タイムコードに対応する複数の異なる所定位置が決定され、前記複数の異なる所定位置それぞれを基準に前記入力画像が拡大処理され、複数の前記拡大処理の処理後画像である複数の拡大処理後画像を合成した合成画像が生成される。
【発明の効果】
【００２２】
本発明の一側面によれば、１つの動画像に対して複数の異なる画像処理を施したときの処理後画像を容易に比較することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２４】
本発明の第１の側面の画像処理装置は、動画像を構成する画像であって順次入力される１の入力画像の画質を、複数の異なる画質に変更する複数の画質変更処理手段（例えば、図１５の画質変更処理部２４１Ａ乃至２４１Ｃ）と、前記複数の画質変更処理手段による処理後の複数の変更処理後画像に基づいて、画像内の所定位置を決定する制御手段（例えば、図１５の画像比較部２６２）と、前記制御手段で決定された前記所定位置を基準に、前記複数の変更処理後画像に対して拡大処理を行う複数の拡大処理手段（例えば、図１５の拡大処理部２４２Ａ乃至２４２Ｃ）と、前記複数の拡大処理手段で処理された画像である複数の拡大処理後画像を合成した合成画像を生成する合成画像生成手段（例えば、図１５の画像合成部２１４）とを備える。
【００２６】
本発明の第２の側面の画像処理装置は、動画像を構成する画像であって順次入力される１の入力画像に対して、複数の異なる画像処理を行う複数の画像処理手段（例えば、図２６の画像処理部２１３−１乃至２１３−３）と、複数の前記画像処理手段それぞれで処理された画像である複数の処理後画像を合成した合成画像を生成する合成画像生成手段（例えば、図２６の画像合成部２１４）とを備え、複数の前記画像処理手段のそれぞれは、前記入力画像の所定位置を、複数の前記画像処理手段それぞれで異なる追尾方式で追尾する追尾処理手段（例えば、図２６の追尾処理部３４１Ａ乃至３４１Ｃ）と、前記追尾処理手段により追尾処理された結果である追尾位置を基準に拡大処理する拡大処理手段（例えば、図２６の拡大処理部２４２Ａ’乃至２４２Ｃ’）とを有する。
【００２７】
複数の前記追尾処理手段による複数の前記追尾位置のうち、ユーザが選択した前記追尾位置を前記所定位置として前記追尾処理手段に供給する制御手段（例えば、図２６の制御部２１７）をさらに備える。
【００２８】
本発明の第２の側面の画像処理装置は、動画像を構成する画像であって順次入力される１の入力画像の特徴量に基づいて、前記入力画像が前記動画像のどのシーンであるかを表すタイムコードを検出する検出手段（例えば、図３４の同期特徴量抽出部４７１）と、前記タイムコードと画像内の所定位置とが対応付けられている複数のパラメータテーブルを参照して、検出された前記タイムコードに対応する前記入力画像内の複数の異なる所定位置を決定する決定手段（例えば、図３４のシーケンス再生部４７２Ａ乃至４７２Ｃ）と、前記決定手段により決定された前記複数の異なる所定位置を基準に前記入力画像を拡大処理する複数の拡大処理手段（例えば、図３４の拡大処理部２４２Ａ”乃至２４２Ｃ”）と、前記複数の拡大処理手段で処理された画像である複数の拡大処理後画像を合成した合成画像を生成する合成画像生成手段（例えば、図３４の画像合成部２１４）とを備える。
【００２９】
前記複数の拡大処理手段には、高画質な拡大処理を行う前記拡大処理手段（例えば、図３４の拡大処理部２４２Ａ”）と、低画質な拡大処理を行う前記拡大処理手段（例えば、図３４の拡大処理部２４２Ｂ”および２４２Ｃ”）とがあり、前記複数の拡大処理手段それぞれにより拡大処理された複数の拡大画像のうち、ユーザが選択した拡大画像を、高画質な拡大処理を行う前記拡大処理手段で処理するように、前記決定手段により決定された前記所定位置の前記拡大処理手段への供給を制御する制御手段（例えば、図３４のスイッチャ部４７３）をさらに備える。
【００３１】
以下、本発明を適用した画像処理装置（システム）の実施の形態について説明するが、その前に、その画像処理装置が行う信号処理に利用するクラス分類適応処理について説明する。なお、クラス分類適応処理は、画像処理装置が行う信号処理に利用する処理の一例であり、画像処理装置が行う信号処理は、クラス分類適応処理を利用しないものであってもかまわない。
【００３２】
また、ここでは、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。
【００３３】
第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
【００３４】
即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【００３５】
また、例えば、第１の画像データを低S/N(Signal/Noise)の画像データとするとともに、第２の画像データを高S/Nの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
【００３６】
さらに、例えば、第１の画像データを所定の画素数（サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００３７】
また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【００３８】
さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
【００３９】
なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
【００４０】
以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
【００４１】
以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【００４２】
即ち、図１は、クラス分類適応処理による画像変換処理を行う画像変換装置１の構成例を示している。
【００４３】
画像変換装置１では、そこに供給される画像データが、第１の画像データとして、タップ選択部１２および１３に供給される。
【００４４】
注目画素選択部１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【００４５】
タップ選択部１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【００４６】
具体的には、タップ選択部１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
【００４７】
タップ選択部１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。即ち、タップ選択部１３は、タップ選択部１２が予測タップを選択するのと同様にして、クラスタップを選択する。
【００４８】
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【００４９】
タップ選択部１２で得られた予測タップは、予測演算部１６に供給され、タップ選択部１３で得られたクラスタップは、クラス分類部１４に供給される。
【００５０】
クラス分類部１４は、タップ選択部１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１５に供給する。
【００５１】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００５２】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００５３】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
なお、クラス分類部１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００５５】
従って、クラス分類部１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００５６】
係数出力部１５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１６に供給される。
【００５７】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【００５８】
予測演算部１６は、タップ選択部１２が出力する予測タップと、係数出力部１５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００５９】
次に、図２のフローチャートを参照して、図１の画像変換装置１による画像変換処理について説明する。
【００６０】
ステップＳ１１において、注目画素選択部１１は、画像変換装置１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択する。例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
【００６１】
ステップＳ１２において、タップ選択部１２とタップ選択部１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１２から予測演算部１６に供給され、クラスタップは、タップ選択部１３からクラス分類部１４に供給される。
【００６２】
クラス分類部１４は、タップ選択部１３から、注目画素についてのクラスタップを受信し、ステップＳ１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１５に出力する。
【００６３】
ステップＳ１４では、係数出力部１５が、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ１４では、予測演算部１６が、係数出力部１５が出力するタップ係数を取得する。
【００６４】
ステップＳ１５では、予測演算部１６が、タップ選択部１２が出力する予測タップと、係数出力部１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値を求めて出力する。
【００６５】
ステップＳ１６では、注目画素選択部１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１６において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００６６】
また、ステップＳ１６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
【００６７】
次に、図１の予測演算部１６における予測演算と、係数出力部１５に記憶されたタップ係数の学習について説明する。
【００６８】
いま、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００６９】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００７０】
【数１】
0005152559.tif 000002
【００７１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００７２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００７３】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００７４】
【数２】
0005152559.tif 000003
【００７５】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【００７６】
【数３】
0005152559.tif 000004
【００７７】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【００７８】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００７９】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８０】
【数４】
0005152559.tif 000005
【００８１】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００８２】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００８３】
【数５】
0005152559.tif 000006
【００８４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【００８５】
【数６】
0005152559.tif 000007
【００８６】
式（５）と（６）から、次式が得られる。
【００８７】
【数７】
0005152559.tif 000008
【００８８】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００８９】
【数８】
0005152559.tif 000009
【００９０】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【００９１】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【００９２】
図３は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置２１の構成例を示している。
【００９３】
学習用画像記憶部３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
【００９４】
教師データ生成部３２は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、教師データ生成部３２は、学習用画像データから、タップ係数の学習の教師（真値）、即ち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部３３に供給する。ここでは、教師データ生成部３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部３３に供給する。
【００９５】
教師データ記憶部３３は、教師データ生成部３２から供給される教師データとしての高画質画像データを記憶する。
【００９６】
生徒データ生成部３４は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、生徒データ生成部３４は、学習用画像データから、タップ係数の学習の生徒、即ち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１７４に供給する。ここでは、生徒データ生成部３４は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部３５に供給する。
【００９７】
生徒データ記憶部３５は、生徒データ生成部３４から供給される生徒データを記憶する。
【００９８】
学習部３６は、教師データ記憶部３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図１のタップ選択部１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
【００９９】
即ち、図４は、図３の学習部３６の構成例を示している。
【０１００】
注目画素選択部４１は、教師データ記憶部３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【０１０１】
タップ選択部４２は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１２が選択するのと同一の画素を選択し、これにより、タップ選択部１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部４５に供給する。
【０１０２】
タップ選択部４３は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１３が選択するのと同一の画素を選択し、これにより、タップ選択部１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部４４に供給する。
【０１０３】
クラス分類部４４は、タップ選択部４３が出力するクラスタップに基づき、図１のクラス分類部１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。
【０１０４】
足し込み部４５は、教師データ記憶部３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。
【０１０５】
即ち、足し込み部４５には、教師データ記憶部３３に記憶された教師データｙk、タップ選択部４２が出力する予測タップｘn,k、クラス分類部４４が出力するクラスコードが供給される。
【０１０６】
そして、足し込み部４５は、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１０７】
さらに、足し込み部４５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１０８】
即ち、足し込み部４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１０９】
そして、足し込み部４５は、教師データ記憶部３３（図３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【０１１０】
タップ係数算出部４６は、足し込み部４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１１１】
図１の画像変換装置１における係数出力部１５には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０１１２】
ここで、第１の画像データに対応する生徒データとする画像データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。
【０１１３】
即ち、上述のように、高画質画像データを、第２の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から１番目に示すように、低画質画像データ（ＳＤ(Standard Definition)画像）である第１の画像データを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０１１４】
なお、この場合、第１の画像データ（生徒データ）は、第２の画像データ（教師データ）と画素数が同一であっても良いし、少なくても良い。
【０１１５】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から２番目に示すように、低S/Nの画像データである第１の画像データを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０１１６】
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から３番目に示すように、画像データの一部である第１の画像データを、その第１の画像データを拡大した拡大画像データである第２の画像データに変換する拡大処理（リサイズ処理）としての画像変換処理を行うものを得ることができる。
【０１１７】
なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。
【０１１８】
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から４番目（１番下）に示すように、所定のフレームレートの第１の画像データを、高フレームレートの第２の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０１１９】
次に、図６のフローチャートを参照して、図３の学習装置２１の処理（学習処理）について、説明する。
【０１２０】
最初に、ステップＳ２１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部３３と生徒データ生成部３４にそれぞれ供給して記憶させる。
【０１２１】
なお、教師データ生成部３２と生徒データ生成部３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。
【０１２２】
その後、処理はステップＳ２２に進み、学習部３６（図４）において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択する。ステップＳ２３では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部４５に供給するとともに、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部４４に供給する。
【０１２３】
ステップＳ２４において、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。
【０１２４】
ステップＳ２５では、足し込み部４５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。
【０１２５】
ステップＳ２６では、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ２６において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、処理はステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１２６】
また、ステップＳ２６において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、処理はステップＳ２７に進み、足し込み部４５は、いままでのステップＳ２２乃至Ｓ２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６に供給する。
【０１２７】
さらに、ステップＳ２７では、タップ係数算出部４６は、足し込み部４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１２８】
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部４６は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１２９】
図７は、クラス分類適応処理による画像変換処理を行う他の画像変換装置である画像変換装置５１の構成例を示している。
【０１３０】
なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換装置５１は、係数出力部１５に代えて、係数出力部５５が設けられている他は、図１の画像変換装置１と同様に構成されている。
【０１３１】
係数出力部５５には、クラス分類部１４からクラス（クラスコード）が供給される他、例えば、ユーザの操作に応じて外部から入力されるパラメータｚが供給されるようになっている。係数出力部５５は、後述するようにして、パラメータｚに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部１４からのクラスのタップ係数を、予測演算部１６に出力する。
【０１３２】
図８は、図７の係数出力部５５の構成例を示している。
【０１３３】
係数生成部６１は、係数種メモリ６２に記憶されている係数種データと、パラメータメモリ６３に記憶されたパラメータｚとに基づいて、クラスごとのタップ係数を生成し、係数メモリ６４に供給して上書きする形で記憶させる。
【０１３４】
係数種メモリ６２は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
【０１３５】
パラメータメモリ６３は、ユーザの操作等に応じて外部から入力されるパラメータｚを上書きする形で記憶する。
【０１３６】
係数メモリ６４は、係数生成部６１から供給されるクラスごとのタップ係数（パラメータｚに対応するクラスごとのタップ係数）を記憶する。そして、係数メモリ６４は、クラス分類部１４（図７）から供給されるクラスのタップ係数を読み出し、予測演算部１６（図７）に出力する。
【０１３７】
図７の画像変換装置５１では、外部から係数出力部５５に対して、パラメータｚが入力されると、係数出力部５５（図８）のパラメータメモリ６３において、そのパラメータｚが、上書きする形で記憶される。
【０１３８】
パラメータメモリ６３にパラメータｚが記憶されると（パラメータメモリ６３の記憶内容が更新されると）、係数生成部６１は、係数種メモリ６２からクラスごとの係数種データを読み出すとともに、パラメータメモリ６３からパラメータｚを読み出し、その係数種データとパラメータｚに基づいて、クラスごとのタップ係数を求める。そして、係数生成部６１は、そのクラスごとのタップ係数を、係数メモリ６４に供給し、上書きする形で記憶させる。
【０１３９】
画像変換装置５１では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部１５に代えて設けられている係数出力部５５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図１の画像変換装置１が行う図２のフローチャートにしたがった処理と同様の処理が行われる。
【０１４０】
次に、図７の予測演算部１６における予測演算、並びに図８の係数生成部６１におけるタップ係数の生成および係数種メモリ６２に記憶させる係数種データの学習について説明する。
【０１４１】
図１の実施の形態における場合のように、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
【０１４２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１４３】
図８の実施の形態では、係数生成部６１において、タップ係数ｗnが、係数種メモリ６２に記憶された係数種データと、パラメータメモリ６３に記憶されたパラメータｚとから生成されるが、この係数生成部６１におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータｚを用いた次式によって行われることとする。
【０１４４】
【数９】
0005152559.tif 000010
【０１４５】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，βM,nを用いて求められるようになっている。
【０１４６】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０１４７】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０１４８】
【数１０】
0005152559.tif 000011
【０１４９】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０１５０】
【数１１】
0005152559.tif 000012
【０１５１】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０１５２】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【０１５３】
【数１２】
0005152559.tif 000013
【０１５４】
いま、式（１２）の予測値ｙk'は、式（１）にしたがって求められるため、式（１２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【０１５５】
【数１３】
0005152559.tif 000014
【０１５６】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１５７】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０１５８】
【数１４】
0005152559.tif 000015
【０１５９】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０１６０】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１６１】
【数１５】
0005152559.tif 000016
【０１６２】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１６３】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０１６４】
【数１６】
0005152559.tif 000017
【０１６５】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０１６６】
【数１７】
0005152559.tif 000018
【０１６７】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０１６８】
【数１８】
0005152559.tif 000019
【０１６９】
【数１９】
0005152559.tif 000020
【０１７０】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０１７１】
【数２０】
0005152559.tif 000021
【０１７２】
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０１７３】
図７の画像変換装置５１においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβm,nが、係数出力部５５（図８）の係数種メモリ６２に記憶されており、係数生成部６１では、その係数種データβm,nと、パラメータメモリ６３に記憶されたパラメータｚから、式（９）にしたがって、クラスごとのタップ係数ｗnが生成される。そして、予測演算部１６において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０１７４】
図９は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβm,nを求める学習を行う学習装置７１の構成例を示している。
【０１７５】
なお、図中、図３の学習装置２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、学習装置７１は、生徒データ生成部３４と学習部３６に代えて、生徒データ生成部７４と学習部７６がそれぞれ設けられているとともに、パラメータ生成部８１が新たに設けられている他は、図３の学習装置２１と同様に構成されている。
【０１７６】
生徒データ生成部７４は、図３の生徒データ生成部３４と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部３５に供給して記憶させる。
【０１７７】
但し、生徒データ生成部７４には、学習用画像データの他、図８のパラメータメモリ６３に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部８１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部７４には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部８１から供給されるようになっている。
【０１７８】
生徒データ生成部７４は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
【０１７９】
従って、生徒データ生成部７４では、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。
【０１８０】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータｚに対応する低画質画像データほど、空間解像度が高い。
【０１８１】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部７４において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。
【０１８２】
学習部７６は、教師データ記憶部３３に記憶された教師データ、生徒データ記憶部３５に記憶された生徒データ、およびパラメータ生成部８１から供給されるパラメータｚを用いて、クラスごとの係数種データを求めて出力する。
【０１８３】
パラメータ生成部８１は、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部７４と学習部７６に供給する。
【０１８４】
図１０は、図９の学習部７６の構成例を示している。なお、図中、図４の学習部３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８５】
タップ選択部９２は、図４のタップ選択部４２と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１２が選択するのと同一のタップ構造の予測タップを選択し、足し込み部９５に供給する。
【０１８６】
タップ選択部９３も、図４のタップ選択部４３と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１３が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部４４に供給する。
【０１８７】
但し、図１０では、タップ選択部４２と４３に、図９のパラメータ生成部８１が生成するパラメータｚが供給されるようになっており、タップ選択部４２と４３は、パラメータ生成部８１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）から、予測タップとクラスタップをそれぞれ選択する。
【０１８８】
足し込み部９５は、図９の教師データ記憶部３３から、注目画素を読み出し、その注目画素、タップ選択部４２から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに行う。
【０１８９】
即ち、足し込み部９５には、教師データ記憶部３３に記憶された注目画素としての教師データｙk、タップ選択部４２が出力する注目画素についての予測タップｘi,k（ｘj,k）、およびクラス分類部４４が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータｚが、パラメータ生成部８１から供給される。
【０１９０】
そして、足し込み部９５は、クラス分類部４４から供給されるクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０１９１】
さらに、足し込み部９５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０１９２】
即ち、足し込み部９５は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０１９３】
そして、足し込み部９５は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部９６に供給する。
【０１９４】
係数種算出部９６は、足し込み部９５から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０１９５】
次に、図１１のフローチャートを参照して、図９の学習装置７１の処理（学習処理）について、説明する。
【０１９６】
最初に、ステップＳ３１において、教師データ生成部３２と生徒データ生成部７４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３２は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部７４には、パラメータ生成部８１が生成するＺ＋１個の値のパラメータｚが供給される。生徒データ生成部７４は、例えば、学習用画像データを、パラメータ生成部８１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０１９７】
教師データ生成部３２が出力する教師データは、教師データ記憶部３３に供給されて記憶され、生徒データ生成部７４が出力する生徒データは、生徒データ記憶部３５に供給されて記憶される。
【０１９８】
その後、ステップＳ３２において、パラメータ生成部８１は、パラメータｚを、初期値としての、例えば０にセットし、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に供給する。ステップＳ３３では、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択する。
【０１９９】
ステップＳ３４では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データ（注目画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを選択し、足し込み部９５に供給する。さらに、ステップＳ３４では、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データからクラスタップを選択し、クラス分類部４４に供給する。
【０２００】
そして、ステップＳ３５において、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部９５に出力する。
【０２０１】
ステップＳ３６では、足し込み部９５は、教師データ記憶部３３から注目画素を読み出し、その注目画素、タップ選択部４２から供給される予測タップ、パラメータ生成部８１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部９５は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部４４からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKの足し込みを行う。
【０２０２】
ステップＳ３７では、パラメータ生成部８１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ３７において、パラメータ生成部８１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、処理はステップＳ３８に進み、パラメータ生成部８１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に出力する。そして、処理はステップＳ３４に戻り、以下、同様の処理が繰り返される。
【０２０３】
また、ステップＳ３７において、パラメータｚが最大値Ｚに等しいと判定された場合、処理はステップＳ３９に進み、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ３８において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、処理はステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０２０４】
また、ステップＳ３９において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、処理はステップＳ４０に進み、足し込み部９５は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部９６に供給する。
【０２０５】
さらに、ステップＳ４０において、係数種算出部９６は、足し込み部９５から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０２０６】
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部９６は、例えば、デフォルトの係数種データを出力するようになっている。
【０２０７】
ところで、図９の学習装置７１では、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、パラメータｚに対応して劣化させた低画質画像データを生徒データとして、タップ係数ｗnおよび生徒データｘnから式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、次のようにして行うことが可能である。
【０２０８】
即ち、学習装置７１は、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データを、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像データを生徒データとして、まず最初に、タップ係数ｗnおよび生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnを、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求める。そして、学習装置７１は、そのパラメータｚの値ごとに求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,nおよび生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める。
【０２０９】
ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図３の学習装置２１における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０２１０】
ところで、タップ係数は、式（１１）に示したように、係数種データβm,nと、パラメータｚに対応する変数ｔmとから求められる。そして、いま、この式（１１）によって求められるタップ係数を、ｗn'と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn'との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０２１１】
【数２１】
0005152559.tif 000022
【０２１２】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０２１３】
【数２２】
0005152559.tif 000023
【０２１４】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２１５】
【数２３】
0005152559.tif 000024
【０２１６】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２１７】
【数２４】
0005152559.tif 000025
【０２１８】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０２１９】
【数２５】
0005152559.tif 000026
【０２２０】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０２２１】
【数２６】
0005152559.tif 000027
【０２２２】
【数２７】
0005152559.tif 000028
【０２２３】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０２２４】
【数２８】
0005152559.tif 000029
【０２２５】
式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０２２６】
図１２は、式（２８）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置１０１の構成例を示している。
【０２２７】
なお、図中、図３の学習装置２１または図９の学習装置７１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、学習装置１０１は、学習部７６に代えて、学習部１０６が設けられている他は、図９の学習装置７１と同様に構成されている。
【０２２８】
図１３は、図１２の学習部１０６の構成例を示している。なお、図中、図４の学習部３６または図１０の学習部７６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【０２２９】
足し込み部１１５には、クラス分類部４４が出力する注目画素のクラスと、パラメータ生成部８１が出力するパラメータｚが供給されるようになっている。そして、足し込み部１１５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに行う。
【０２３０】
即ち、足し込み部１１５には、教師データ記憶部３３（図１２）に記憶された教師データｙk、タップ選択部４２が出力する予測タップｘn,k、クラス分類部４４が出力するクラス、およびパラメータ生成部８１（図１２）が出力する、予測タップｘn,kを構成する生徒データを生成したときのパラメータｚが供給される。
【０２３１】
そして、足し込み部１１５は、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２３２】
さらに、足し込み部１１５は、やはり、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２３３】
即ち、足し込み部１１５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２３４】
そして、足し込み部１１５は、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【０２３５】
従って、足し込み部１１５は、図４の足し込み部４５と同様に、各クラスについて、式（８）の正規方程式をたてる。但し、足し込み部１１５は、さらに、パラメータｚの各値ごとにも、式（８）の正規方程式をたてる点で、図４の足し込み部４５と異なる。
【０２３６】
タップ係数算出部４６は、足し込み部１１５から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部１２１に供給する。
【０２３７】
足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚ（に対応する変数ｔm）と、タップ係数算出部４６から供給される最適なタップ係数ｗnを対象とした足し込みを、クラスごとに行う。
【０２３８】
即ち、足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２３９】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０２４０】
さらに、足し込み部１２１は、パラメータ生成部８１から供給されるパラメータｚから式（１０）によって求められる変数ｔiと、タップ係数算出部４６から供給される最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２４１】
足し込み部１２１は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１２２に供給する。
【０２４２】
係数種算出部１２２は、足し込み部１２１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２４３】
図８の係数出力部５５における係数種メモリ６２には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
【０２４４】
なお、係数種データの学習においても、図５で説明したタップ係数の学習における場合と同様に、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０２４５】
即ち、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像データを、その空間解像度を向上させた第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０２４６】
この場合、図７の画像変換装置５１では、画像データの水平解像度および垂直解像度を、パラメータｚに対応する解像度に向上させることができる。
【０２４７】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータｚに対応するレベルのノイズを重畳した画像データを生徒データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するS/Nの画像データを得ることができる。
【０２４８】
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータｚに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そのサイズを拡大または縮小した第２の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するサイズに拡大または縮小した画像データを得ることができる。
【０２４９】
なお、上述の場合には、タップ係数ｗnを、式（９）に示したように、β1,nｚ0＋β2,nｚ1＋・・・＋βM,nｚM-1で定義し、この式（９）によって、水平および垂直方向の空間解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗnを求めるようにしたが、タップ係数ｗnとしては、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０２５０】
即ち、タップ係数ｗnを、式（９）に代えて、例えば、３次式β1,nｚx0ｚy0＋β2,nｚx1ｚy0＋β3,nｚx2ｚy0＋β4,nｚx3ｚy0＋β5,nｚx0ｚy1＋β6,nｚx0ｚy2＋β7,nｚx0ｚy3＋β8,nｚx1ｚy1＋β9,nｚx2ｚy1＋β10,nｚx1ｚy2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、例えば、ｔ1＝ｚx0ｚy0，ｔ2＝ｚx1ｚy0，ｔ3＝ｚx2ｚy0，ｔ4＝ｚx3ｚy0，ｔ5＝ｚx0ｚy1，ｔ6＝ｚx0ｚy2，ｔ7＝ｚx0ｚy3，ｔ8＝ｚx1ｚy1，ｔ9＝ｚx2ｚy1，ｔ10＝ｚx1ｚy2で定義する。この場合も、タップ係数ｗnは、最終的には、式（１１）で表すことができ、従って、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚxとｚyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることができる。
【０２５１】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚxとｚyに加えて、さらに、時間方向の解像度に対応するパラメータｚtを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚx，ｚy，ｚtに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることが可能となる。
【０２５２】
また、リサイズ処理についても、空間解像度創造処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗnの他、水平と垂直方向を、それぞれパラメータｚxとｚyに対応する拡大率で、独立にリサイズするタップ係数ｗnを求めることが可能である。
【０２５３】
さらに、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚyに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータｚxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚyに対応してノイズ除去を行うタップ係数ｗnを求めることができる。
【０２５４】
以上のようなクラス分類適応処理を行う処理部を備える画像処理装置であって、本発明を適用した画像処理装置の実施の形態について、以下説明する。換言すれば、以下に説明する画像処理装置（画像処理システム）は、上述の画像変換装置を画像処理部（図１４の画像処理部２１３−１乃至２１３−３）として備える装置である。
【０２５５】
図１４は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【０２５６】
図１４の画像処理装置２００は、画像入力部２１１、画像分配部２１２、画像処理部２１３−１乃至２１３−３、画像合成部２１４、画像提示部２１５、画像記録部２１６、および制御部２１７により構成されている。
【０２５７】
画像処理装置２００には、動画像が入力される。動画像を構成する複数の画像は、順次画像入力部２１１で取得され、入力画像として画像分配部２１２に供給される。
【０２５８】
画像分配部２１２は、画像入力部２１１から供給された入力画像を、画像処理部２１３−１乃至２１３−３および画像合成部２１４に供給する。
【０２５９】
画像処理部２１３−１乃至２１３−３それぞれは、制御部２１７による制御の下、画像分配部２１２から供給される入力画像に対して所定の画像処理を同時に（並列に）実行し、処理後の画像である処理後画像を画像合成部２１４に供給する。ここで、画像処理部２１３−１乃至２１３−３が行う所定の画像処理とは、例えば、画質を高画質にする高画質化処理、画像の所定の領域を拡大する拡大処理等である。また、画像処理部２１３−１乃至２１３−３どうしは、画質の程度が異なる、または、拡大処理する領域が異なるなど、互いに異なる処理を実行する。この画像処理部２１３−１乃至２１３−３が行う画像処理には、上述したクラス分類適応処理を利用することが可能である。
【０２６０】
画像合成部２１４には、画像分配部２１２から入力画像が供給されるとともに、画像処理部２１３−１乃至２１３−３のそれぞれから処理後画像が供給される。
【０２６１】
画像合成部２１４は、制御部２１７による制御の下、入力画像と３種類の処理後画像を用いて合成画像を生成し、画像提示部２１５に供給する。また、画像合成部２１４は、合成画像に用いた複数の画像のうちの主となる画像である主画像を画像記録部２１６に供給する。
【０２６２】
画像提示部２１５は、画像合成部２１４から供給される合成画像を所定の表示部に表示することにより、合成画像をユーザに提示する。画像記録部２１６は、画像合成部２１４から供給される主画像を所定の記録媒体に記録する。
【０２６３】
制御部２１７は、ユーザが図示せぬリモートコマンダ等で操作した情報である操作情報を取得し、その操作に対応する制御情報を画像処理部２１３−１乃至２１３−３および画像合成部２１４に供給する。
【０２６４】
図１４では、画像処理装置２００が３個の画像処理部２１３−１乃至２１３−３を備える例を示しているが、画像処理装置２００が備える画像処理部２１３は、２個でもよいし、４個以上でもよい。
【０２６５】
図１５は、画像処理装置２００の詳細な構成例であって、第１の構成例（以下、第１の実施の形態と称する）を示すブロック図である。
【０２６６】
図１５において、図１４と対応する部分については同一の符号を付してあり、その説明は適宜省略する。後述する図１６以降の図についても同様である。
【０２６７】
画像処理部２１３−１は、画質変更処理部２４１Ａと拡大処理部２４２Ａにより構成されており、画像処理部２１３−２は、画質変更処理部２４１Ｂと拡大処理部２４２Ｂにより構成されている。また、画像処理部２１３−３は、画質変更処理部２４１Ｃと拡大処理部２４２Ｃにより構成されている。
【０２６８】
また、制御部２１７は、制御指令部２６１と画像比較部２６２により構成されている。
【０２６９】
画質変更処理部２４１Ａ乃至２４１Ｃは、それぞれ異なる画像パラメータを施すことによって、画質の異なる画像を生成し、出力する。例えば、画質変更処理部２４１Ａ乃至２４１Ｃは、画質のレベル（程度）が画質変更処理部２４１Ａ、２４１Ｂ、２４１Ｃの順に高画質となるように、画質の異なる画像を生成する。画質のレベルは、制御指令部２６１から供給される制御情報により決定される。
【０２７０】
画質変更処理部２４１Ａ乃至２４１Ｃそれぞれは、例えば、上述したクラス分類適応処理を実行することができ、この場合の画像パラメータとしては、例えば解像度やノイズ除去度を指定するパラメータｚおよび係数種データとすることができる。また、クラス分類適応処理以外の一般的な画像処理を採用してもよく、色合い、明るさ、γ値などを変化させるパラメータを画像パラメータとすることも可能である。
【０２７１】
画質変更処理部２４１Ａは、画質変更処理後の画像（以下、処理Ａ画像と称する）を画像比較部２６２、拡大処理部２４２Ａ、および画像合成部２１４に供給する。画質変更処理部２４１Ｂは、画質変更処理後の画像（以下、処理Ｂ画像と称する）を画像比較部２６２、拡大処理部２４２Ｂ、および画像合成部２１４に供給する。画質変更処理部２４１Ｃは、画質変更処理後の画像（以下、処理Ｃ画像と称する）を画像比較部２６２、拡大処理部２４２Ｃ、および画像合成部２１４に供給する。
【０２７２】
拡大処理部２４２Ａ乃至２４２Ｃそれぞれは、画像比較部２６２から供給される位置（ｐ，ｑ）に基づく拡大処理を実行する。即ち、拡大処理部２４２Ａ乃至２４２Ｃは、位置（ｐ，ｑ）を中心に所定領域を拡大した拡大画像を生成し、画像合成部２１４に供給する。ここで、位置（ｐ，ｑ）に対してどれくらいの領域を拡大するかを表す領域サイズは、予め設定画面等でユーザにより指定されて決定される。なお、ユーザ指定により決定された領域サイズと、図２０を参照して後述する表示画面２７０の各領域のサイズとが一致しない場合には、拡大処理部２４２Ａ乃至２４２Ｃでは、ユーザ指定により決定された領域を表示画面２７０の各領域のサイズにさらに調整する処理も行われる。
【０２７３】
拡大処理部２４２Ａ乃至２４２Ｃが実行する拡大処理の方式は、上述したクラス分類適応処理による方式の他、線形補間による方式、バイリニア方式などを採用することができる。
【０２７４】
制御指令部２６１は、画質変更処理部２４１Ａ乃至２４１Ｃ、拡大処理部２４２Ａ乃至２４２Ｃ、および画像合成部２１４に、ユーザが操作した内容を表す操作情報に基づいて、処理内容を制御する制御情報を供給する。例えば、制御指令部２６１は、上述したように、画質のレベルを決定するパラメータを制御情報として画質変更処理部２４１Ａ乃至２４１Ｃに供給したり、拡大処理する領域サイズを決定するパラメータを制御情報として拡大処理部２４２Ａ乃至２４２Ｃに供給する。
【０２７５】
画像比較部２６２は、画質変更処理部２４１Ａ乃至２４１Ｃのそれぞれから供給される処理後画像を互いに比較演算することにより、画質変更処理部２４１Ａ乃至２４１Ｃのそれぞれが出力した処理Ａ画像、処理Ｂ画像、および処理Ｃ画像で、最も画質の異なる位置（画素）（ｐ，ｑ）を検出し、拡大処理部２４２Ａ乃至２４２Ｃに供給する。
【０２７６】
図１６乃至図１８を参照して、画像比較部２６２による画像比較処理の詳細について説明する。
【０２７７】
画像比較部２６２には、制御指令部２６１から、比較領域サイズであるＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）と処理フレーム数ＦNが制御情報として供給される。また、画像比較部２６２には、画質変更処理部２４１Ａ乃至２４１Ｃから処理Ａ画像ないし処理Ｃ画像が供給される。ここで、処理Ａ画像ないし処理Ｃ画像は、画像左上の角を原点とし、横方向にＸ画素、縦方向にＹ画素からなる画像であるとする。
【０２７８】
最初に、画像比較部２６２は、図１６に示すように、画素（１，１）を基準位置としてＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）で特定される処理Ａ画像ないし処理Ｃ画像の画像を、比較対象の画像である比較対象画像Ａ（１，１）乃至Ｃ（１，１）として決定する。基準位置の画素（１，１）は、ＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）の領域の左上である。
【０２７９】
そして、画像比較部２６２は、画質変更処理部２４１Ａ乃至２４１Ｃから供給される所定のフレームの（例えば、第１フレーム目の）処理Ａ画像ないし処理Ｃ画像に対して、以下の処理を実行する。即ち、画像比較部２６２は、比較対象画像Ａ（１，１）と比較対象画像Ｂ（１，１）とで、同位置の画素どうしの輝度値（画素値）の差分二乗和ｄ11（１，１）を算出する。また同様に、画像比較部２６２は、比較対象画像Ｂ（１，１）と比較対象画像Ｃ（１，１）とで、同位置の画素どうしの輝度値の差分二乗和ｄ12（１，１）、および、比較対象画像Ａ（１，１）と比較対象画像Ｃ（１，１）とで、同位置の画素どうしの輝度値の差分二乗和ｄ13（１，１）を算出する。
【０２８０】
次に、画像比較部２６２は、算出された差分二乗和ｄ11（１，１）、差分二乗和ｄ12（１，１）、および差分二乗和ｄ13（１，１）の合計を求め、差分二乗和ｄ1（１，１）とする。即ち、画像比較部２６２は、ｄ1（１，１）＝ｄ11（１，１）＋ｄ12（１，１）＋ｄ13（１，１）を計算する。
【０２８１】
画像比較部２６２は、以上の処理を、処理Ａ画像ないし処理Ｃ画像の位置（１，２）乃至（Ｘ’，Ｙ’）を基準位置としたものについても実行する。ここで、Ｘ’＝Ｘ−Ｂx＋１，Ｙ’＝Ｙ−Ｂy＋１である。即ち、画像比較部２６２は、第１フレーム目の入力画像に対して、処理Ａ画像ないし処理Ｃ画像をはみ出さないで設定することができるすべての基準位置（１，１）乃至（Ｘ’，Ｙ’）についての差分二乗和ｄ1（１，１）乃至ｄ1（Ｘ’，Ｙ’）を求める。
【０２８２】
さらに、画像比較部２６２は、差分二乗和ｄ1（１，１）乃至ｄ1（Ｘ’，Ｙ’）を求める処理を、制御指令部２６１から供給された処理フレーム数ＦNの入力画像に対して繰り返す。
【０２８３】
その結果、図１７に示されるように、処理Ａ画像ないし処理Ｃ画像内の画素（ｘ’，ｙ’）（ｘ’＝１，２，・・，Ｘ’，ｙ’＝１，２，・・，Ｙ’）に対し、ｄ1（ｘ’，ｙ’）乃至ｄFN（ｘ’，ｙ’）が求められる。
【０２８４】
そして、画像比較部２６２は、ｘ’＝１，２，・・，Ｘ’およびｙ’＝１，２，・・，Ｙ’のすべてについて差分二乗和の総和ｄ（ｘ’，ｙ’）＝Σｄk（ｘ’，ｙ’）を計算し、その計算結果である、総和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）のなかで、最大の総和ｄ（ｐ，ｑ）となる位置（ｐ，ｑ）を求め、決定する。従って、（ｐ，ｑ）は、（１，１）乃至（Ｘ’，Ｙ’）のなかのいずれかである。なお、Σは、ｋ＝１としたときからｋ＝ＦNとしたときまでの和を表す。
【０２８５】
図１８のフローチャートを参照して、画像比較部２６２の画像比較処理についてさらに説明する。
【０２８６】
初めに、ステップＳ６１において、画像比較部２６２は、制御指令部２６１から供給されたＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）と処理フレーム数ＦNを内部に記憶する。
【０２８７】
ステップＳ６２において、画像比較部２６２は、所定のフレームの処理Ａ画像ないし処理Ｃ画像を選択する。例えば、第１フレーム目の入力画像に対して画質変更処理された処理Ａ画像ないし処理Ｃ画像が選択される。
【０２８８】
ステップＳ６３において、画像比較部２６２は、処理Ａ画像ないし処理Ｃ画像の所定の画素を基準位置として決定する。例えば、画像比較部２６２は、位置（１，１）を基準位置として決定する。これにより、比較対象画像Ａ（１，１）乃至Ｃ（１，１）が決定される。
【０２８９】
ステップＳ６４において、画像比較部２６２は、比較対象画像Ａと比較対象画像Ｂとで、同位置の画素どうしの輝度値の差分二乗和を算出する。例えば、基準位置（１，１）についての比較対象画像Ａ（１，１）乃至Ｃ（１，１）では、画像比較部２６２は、比較対象画像Ａ（１，１）と比較対象画像Ｂ（１，１）とで、同位置の画素どうしの輝度値の差分二乗和ｄ11（１，１）を算出する。
【０２９０】
ステップＳ６５において、画像比較部２６２は、比較対象画像Ｂと比較対象画像Ｃとで、同位置の画素どうしの輝度値の差分二乗和を算出する。例えば、基準位置（１，１）についての比較対象画像Ａ（１，１）乃至Ｃ（１，１）では、画像比較部２６２は、比較対象画像Ｂ（１，１）と比較対象画像Ｃ（１，１）とで、同位置の画素どうしの輝度値の差分二乗和ｄ12（１，１）を算出する。
【０２９１】
ステップＳ６６において、画像比較部２６２は、比較対象画像Ａと比較対象画像Ｃとで、同位置の画素どうしの輝度値の差分二乗和を算出する。例えば、基準位置（１，１）についての比較対象画像Ａ（１，１）乃至Ｃ（１，１）では、画像比較部２６２は、比較対象画像Ａ（１，１）と比較対象画像Ｃ（１，１）とで、同位置の画素どうしの輝度値の差分二乗和ｄ13（１，１）を算出する。
【０２９２】
ステップＳ６７において、画像比較部２６２は、ステップＳ６４乃至Ｓ６６で求めた差分二乗和の合計を求める。例えば、画像比較部２６２は、算出された差分二乗和ｄ11（１，１）、差分二乗和ｄ12（１，１）、および差分二乗和ｄ13（１，１）の合計を求め、差分二乗和ｄ1（１，１）とする。
【０２９３】
ステップＳ６８において、画像比較部２６２は、処理Ａ画像ないし処理Ｃ画像をはみ出さないで設定することができるすべての画素を基準位置としたかを判定する。ステップＳ６８で、すべての画素をまだ基準位置としていないと判定された場合、処理はステップＳ６３に戻る。これにより、まだ基準位置とされていない画素が次の基準位置に設定され、以降の処理が繰り返される。
【０２９４】
一方、ステップＳ６８で、すべての画素を基準位置としたと判定された場合、処理はステップＳ６９に進み、画像比較部２６２は、いま差分二乗和を計算したフレームが処理フレーム数ＦNの最後のフレームであるかを判定する。
【０２９５】
ステップＳ６９で、いま差分二乗和を計算したフレームが処理フレーム数ＦNの最後のフレームではないと判定された場合、処理はステップＳ６２に戻り、それ以降の処理が繰り返される。
【０２９６】
一方、ステップＳ６９で、いま差分二乗和を計算したフレームが処理フレーム数ＦNの最後のフレームであると判定された場合、即ち、処理フレーム数ＦNの入力画像について差分二乗和が計算された場合、ステップＳ７０において、画像比較部２６２は、差分二乗和の総和ｄ（ｘ’，ｙ’）＝Σｄk（ｘ’，ｙ’）を画素（１，１）乃至（Ｘ’，Ｙ’）について計算することにより、差分二乗和の総和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）を計算する。
【０２９７】
ステップＳ７１において、画像比較部２６２は、計算された差分二乗和の総和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）のなかで、最大の総和ｄ（ｐ，ｑ）となる位置（ｐ，ｑ）を求め、決定する。また、画像比較部２６２は、決定された位置（ｐ，ｑ）を拡大処理部２４２Ａ乃至２４２Ｃそれぞれに供給して、処理を終了する。
【０２９８】
画像比較部２６２では、以上のようにして処理Ａ画像ないし処理Ｃ画像が比較され、位置（ｐ，ｑ）が求められる。
【０２９９】
次に、図１９のフローチャートを参照して、図１５の画像処理装置２００による画像処理（第１の画像処理）について説明する。
【０３００】
初めに、ステップＳ８１において、画像分配部２１２は、画像入力部２１１から供給された入力画像を分配する。即ち、画像分配部２１２は、入力画像を画像処理部２１３−１乃至２１３−３および画像合成部２１４に供給する。
【０３０１】
ステップＳ８２において、画質変更処理部２４１Ａ乃至２４１Ｃは、入力画像に対して画質を変更する処理である画質変更処理を実行する。なお、画質変更処理部２４１Ａ乃至２４１Ｃでは、制御指令部２６１の制御により、生成された画像の画質がそれぞれ異なるように画質変更処理が行われる。画質変更処理後の処理Ａ画像ないし処理Ｃ画像は、画像比較部２６２に供給される。
【０３０２】
ステップＳ８３において、画像比較部２６２は、図１６乃至図１８を参照して説明した画像比較処理を実行する。これにより、画質変更処理部２４１Ａ乃至２４１Ｃのそれぞれが出力した処理Ａ画像、処理Ｂ画像、および処理Ｃ画像どうしで、最も画質の異なる位置（ｐ，ｑ）が検出され、拡大処理部２４２Ａ乃至２４２Ｃに供給される。
【０３０３】
ステップＳ８４において、拡大処理部２４２Ａ乃至２４２Ｃは、入力された処理後画像の一部を拡大する拡大処理を実行する。即ち、拡大処理部２４２Ａは、画質変更処理部２４１Ａから供給された処理後Ａ画像の位置（ｐ，ｑ）を基準に所定領域を拡大した拡大画像Ａを生成し、画像合成部２１４に供給する。拡大処理部２４２Ｂは、画質変更処理部２４１Ｂから供給された処理後Ｂ画像の位置（ｐ，ｑ）を基準に所定領域を拡大した拡大画像Ｂを生成し、画像合成部２１４に供給する。拡大処理部２４２Ｃは、画質変更処理部２４１Ｃから供給された処理後Ｃ画像の位置（ｐ，ｑ）を基準に所定領域を拡大した拡大画像Ｃを生成し、画像合成部２１４に供給する。
【０３０４】
ステップＳ８５において、画像合成部２１４は、画像分配部２１２から供給された入力画像と、拡大処理部２４２Ａ乃至２４２Ｃから供給された拡大画像Ａ乃至Ｃを用いて合成画像を生成し、画像提示部２１５に供給する。また、画像合成部２１４は、入力画像と拡大画像Ａ乃至Ｃのなかから選択された１つの画像を主画像として画像記録部２１６に供給する。
【０３０５】
なお、入力画像と拡大画像Ａ乃至Ｃのうちどの画像を主画像とするかについては、図２０乃至図２３を参照して後述するように、制御部２１７を介して供給されるユーザの指示によって決定される。
【０３０６】
ステップＳ８６において、画像提示部２１５は、画像合成部２１４から供給される合成画像を所定の表示部に表示することにより、合成画像をユーザに提示する。また、ステップＳ８６では、画像記録部２１６は、画像合成部２１４から供給される主画像を所定の記録媒体に記録して、処理を終了する。
【０３０７】
図２０乃至図２３を参照して、画像提示部２１５の画面制御（GUI(Graphical User Interface)）について説明する。
【０３０８】
図２０は、画像提示部２１５により表示される表示画面の例を示している。
【０３０９】
画像合成部２１４は、表示画面２７０を、図２０に示すような主画面領域２８１と、その右側に配置される副画面領域２８２−１乃至２８２−３に分割した各領域に拡大画像を表示できるように合成画像を生成する。
【０３１０】
表示画面２７０は、主画面領域２８１と、その右側に配置される副画面領域２８２−１乃至２８２−３により構成されている。副画面領域２８２−１乃至２８２−３は、上下方向に並んで配置され、３つの副画面領域２８２−１乃至２８２−３全体の高さが、主画面領域２８１の高さと同一となっている。
【０３１１】
このような表示画面２７０に対して、例えば、図２１に示されるような合成画像が生成され、ユーザに提示される。
【０３１２】
図２１に示される合成画像では、主画面領域２８１に、画質変更処理部２４１Ａで画質変更処理されて得られた処理後Ａ画像が配置され、副画面領域２８２−１乃至２８２−３に、拡大処理部２４２Ａ乃至２４２Ｃで拡大処理された拡大画像Ａ乃至Ｃが配置されている。
【０３１３】
そして、副画面領域２８２−１乃至２８２−３のいずれかにハイライト表示２９１が表示され、ユーザは、リモートコマンダの上下キー（図示せず）を操作することによって、そのハイライト表示２９１を副画面領域２８２−１乃至２８２−３の所望の位置に移動させることができる。即ち、画像合成部２１４は、合成画像にハイライト表示２９１を重畳させた画像を生成し、画像提示部２１５に供給する。図２１では、副画面領域２８２−１にハイライト表示２９１が表示されている例を示している。
【０３１４】
ハイライト表示２９１が副画面領域２８２−１にある状態で、リモートコマンダの上キーが操作されたことを表す制御情報が画像合成部２１４に供給されると、画像合成部２１４は、ハイライト表示２９１を副画面領域２８２−３に移動させる。
【０３１５】
また、ハイライト表示２９１が副画面領域２８２−３にある状態で、リモートコマンダの下キーが操作されたことを表す制御情報が画像合成部２１４に供給されると、画像合成部２１４は、ハイライト表示２９１を副画面領域２８２−１に移動させる。
【０３１６】
あるいは、ハイライト表示２９１が副画面領域２８２−３にある状態で、リモートコマンダの決定キー（図示せず）が操作されたことを表す制御情報が画像合成部２１４に供給されると、画像合成部２１４は、図２２に示すような合成画像を作成する。図２２では、主画面領域２８１に、ユーザに選択された拡大画像Ｃが表示されている。
【０３１７】
また、ハイライト表示２９１が副画面領域２８２−３にある状態で、リモートコマンダの決定キー（図示せず）を操作されたことを表す制御情報が画像合成部２１４に供給された場合、画像合成部２１４には、図２３に示す合成画像を生成させることもできる。
【０３１８】
図２３は、ユーザに選択された拡大画像Ｃに対応する全体画像である処理後Ｃ画像が主画面領域２８１に表示されるようにした合成画像の例である。図２３に示される画面制御（表示）は、ディテール部分に重点を置きながら、画面全体の画質評価を行う必要がある場合に有効である。
【０３１９】
次に、ユーザが第１の画像処理に必要なパラメータを設定するためのGUIについて説明する。
【０３２０】
画質変更処理部２４１Ａ乃至２４１Ｃで行われる画質変更処理に対しては、ユーザは、図２４に示されるパラメータ設定画面を用いて、複数のパラメータを設定することができる。
【０３２１】
図２４に示されるパラメータ設定画面には、ズーム設定ボックス３０１、解像度変更ボックス３０２Ａ乃至３０２Ｃ、および終了ボックス３０４が設けられている。
【０３２２】
ズーム設定ボックス３０１では、画質変更処理部２４１Ａ乃至２４１Ｃにおいて入力画像に対して拡大処理するときのズーム率を決定することができる。これまで説明してこなかったが、画質変更処理部２４１Ａ乃至２４１Ｃにおいては、所定のズーム率で入力画像を拡大した後に、画質を変更することができる。画質変更処理部２４１Ａ乃至２４１Ｃが入力画像をどれくらいのズーム率で拡大するかが、このズーム設定ボックス３０１で指定される。
【０３２３】
ユーザは、カーソル３０５をズーム設定ボックス３０１に移動させ、決定キーにより選択後、上下キーを操作することにより、ズーム率を所望の値に設定する。図２４では、ズーム率が「２．５」とされている。なお、ズーム率を「０．０」に設定した場合、画質変更処理部２４１Ａ乃至２４１Ｃは、上述したように、入力画像に対して画質変更処理のみを行うことになる。
【０３２４】
解像度変更ボックス３０２Ａ乃至３０２Ｃでは、画質変更処理部２４１Ａ乃至２４１Ｃが画質変更処理するときの画質を決定するパラメータである解像度を決定することができる。この解像度は、例えば、空間解像度である。
【０３２５】
解像度変更ボックス３０２Ａ乃至３０２Ｃそれぞれのパラメータを変更する場合には、ユーザは、ズーム率を変更する場合と同様に、カーソル３０５を、変更を所望する解像度変更ボックス３０２Ａ乃至３０２Ｃに移動させ、上下キーで解像度（数値）を変更する。これにより、クラス分類処理を適用した場合のパラメータｚおよび係数種データを変更することができる。
【０３２６】
終了ボックス３０４にカーソルを移動させ、決定ボタンを操作することにより、変更されたパラメータが制御指令部２６１の内部に記憶されるとともに、制御指令部２６１から画質変更処理部２４１Ａ乃至２４１Ｃに供給される。
【０３２７】
図２５は、画像比較部２６２で行われる画像比較処理についてのパラメータを設定するパラメータ設定画面の例である。
【０３２８】
図２５に示されるパラメータ設定画面では、比較領域サイズであるＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）と処理フレーム数ＦNを設定することができる。
【０３２９】
ＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）を変更する場合には、ユーザは、図２５のパラメータ設定画面に表示されている領域枠３１１の大きさを変更する。変更後の領域枠３１１の大きさが、そのままＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）として決定される。
【０３３０】
処理フレーム数ＦNを変更する場合には、ユーザは、カーソル３１２をフレーム数設定ボックス３１４に移動させた後、そこに表示されている数値を上下キーにより変更する。終了ボックス３１３は、終了ボックス３０４と同様に、パラメータ設定変更の終了を指示するとき操作されるボタンである。変更後のパラメータは、パラメータ設定画面の終了とともに、制御指令部２６１を介して画像比較部２６２に供給され、その内部に記憶される。
【０３３１】
以上のように、図１５に示した画像処理装置２００の第１の実施の形態によれば、同一の入力画像に対して、複数の異なる画像処理を施し、その結果を合成して同時に表示する際に、それぞれの処理後画像どうしで差が最も大きい箇所を切り出して表示するので、各画質変更処理による差を容易に確認することができ、より正確で効率の良い画質評価を行うことができる。
【０３３２】
図２６は、図１４の画像処理装置２００の第２の詳細構成例（第２の実施の形態）を示すブロック図である。
【０３３３】
画像処理部２１３−１は、追尾処理部３４１Ａと拡大処理部２４２Ａ’により構成されており、画像処理部２１３−２は、追尾処理部３４１Ｂと拡大処理部２４２Ｂ’により構成されている。また、画像処理部２１３−３は、追尾処理部３４１Ｃと拡大処理部２４２Ｃ’により構成されている。
【０３３４】
追尾処理部３４１Ａ乃至３４１Ｃには、所定のタイミングでユーザが指示した入力画像内の位置（以下、ユーザ指示点と称する）（ｘ，ｙ）とズーム率ｚが、初期値（ｘ，ｙ，ｚ）として制御部２１７から供給される。
【０３３５】
追尾処理部３４１Ａ乃至３４１Ｃは、初期値（ｘ，ｙ，ｚ）に基づいて、入力画像のユーザ指示点（ｘ，ｙ）を追尾する追尾処理を実行する。なお、追尾処理部３４１Ａ乃至３４１Ｃは、それぞれ異なる追尾処理の方式で追尾処理を実行する。従って、同一のユーザ指示点（ｘ，ｙ）を基準として追尾処理を実行した結果は同一であるとは限らない。追尾処理部３４１Ａ乃至３４１Ｃそれぞれが行う追尾処理方式の詳細については、図２７および図２８を参照して後述する。
【０３３６】
追尾処理部３４１Ａは、追尾後の位置（ｘa，ｙa）とズーム率ｚとからなる追尾処理結果（ｘa，ｙa，ｚ）を拡大処理部２４２Ａ’と制御部２１７に供給する。追尾処理部３４１Ｂは、追尾後の位置（ｘb，ｙb）とズーム率ｚとからなる追尾処理結果（ｘb，ｙb，ｚ）を拡大処理部２４２Ｂ’ と制御部２１７に供給する。追尾処理部３４１Ｃは、追尾後の位置（ｘc，ｙc）とズーム率ｚとからなる追尾処理結果（ｘc，ｙc，ｚ）を拡大処理部２４２Ｃ’ と制御部２１７に供給する。
【０３３７】
なお、追尾処理部３４１Ａ乃至３４１Ｃそれぞれを特に区別する必要がない場合には、単に追尾処理部３４１と称する。
【０３３８】
拡大処理部２４２Ａ’乃至２４２Ｃ’は、第１の実施の形態における拡大処理部２４２Ａ乃至２４２Ｃと同様に拡大処理を実行し、拡大処理後の拡大画像Ａ’乃至Ｃ’を画像合成部２１４に供給する。拡大処理部２４２Ａ’乃至２４２Ｃ’それぞれが拡大処理する領域は、入力画像の、追尾処理部３４１Ａ乃至３４１Ｃから供給される追尾処理結果（ｘa，ｙa，ｚ）、（ｘb，ｙb，ｚ）、または（ｘc，ｙc，ｚ）で決定される領域である。
【０３３９】
制御部２１７は、ユーザにより指示されたユーザ指示点（ｘ，ｙ）とズーム率ｚを、初期値（ｘ，ｙ，ｚ）として追尾処理部３４１Ａ乃至３４１Ｃに供給する。また、第２の実施の形態における第２の画像処理では、拡大処理部２４２Ａ’乃至２４２Ｃ’による拡大処理後の拡大画像Ａ’乃至Ｃ’が、第１の実施の形態において図２０乃至図２３を参照して説明したように１画面で同時に表示されるが、その表示された拡大画像Ａ’乃至Ｃ’のいずれかをユーザが選択した場合に、制御部２１７は、その選択された拡大画像の追尾処理結果を、次の初期値（ｘ，ｙ，ｚ）として追尾処理部３４１Ａ乃至３４１Ｃに供給する。
【０３４０】
図２７を参照して、追尾処理部３４１Ａの追尾処理について詳しく説明する。
【０３４１】
図２７は、時刻ｔ＝０の入力画像で検出された探索画像（後述する探索テンプレート）を、時刻ｔ＝１の入力画像で追尾する例を示している。なお、図２７では、時刻ｔにおける入力画像の位置（ｘ，ｙ）を（ｘ（ｔ），ｙ（ｔ））と示してある。
【０３４２】
追尾処理部３４１Ａは、時刻ｔ＝０の入力画像に対して、ユーザ指示点（ｘ（０），ｙ（０））を中心とするＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）を探索テンプレートとして検出する。なお、第２の実施の形態におけるＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）は、第１の実施の形態におけるＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）と同一の値である必要はない。また、第２の実施の形態では、ＢＬＯＣＫＳＩＺＥ（Ｂx，Ｂy）は正方形である（Ｂx＝Ｂy）であるとして、単にＢＬＯＣＫＳＩＺＥと記述する。
【０３４３】
そして、時刻ｔ＝１の入力画像が供給されると、追尾処理部３４１Ａは、ユーザ指示点（ｘ（０），ｙ（０））を中心とするＡＲＥＡＳＩＺＥ（Ａx，Ａy）を探索対象画像として検出する。なお、第２の実施の形態では、ＡＲＥＡＳＩＺＥ（Ａx，Ａy）は正方形である（Ａx＝Ａy）であるとして、単にＡＲＥＡＳＩＺＥと記述する。
【０３４４】
図２７では、時刻ｔ＝０の入力画像における探索テンプレート内の主な対象物が丸で示されており、その同じ対象物が時刻ｔ＝１の入力画像では菱形で示されている。
【０３４５】
次に、追尾処理部３４１Ａは、ＡＲＥＡＳＩＺＥ内の画素（ｘ’，ｙ’）（ｘ’＝１，２，・・，Ｘ’，ｙ’＝１，２，・・，Ｙ’）に対し、輝度値の差分二乗和ｄ（ｘ’，ｙ’）を求める。ここで、Ｘ’＝Ａx−Ｂx＋１，Ｙ’＝Ａy−Ｂy＋１である。なお、この第２の実施の形態における差分二乗和ｄ（ｘ’，ｙ’）は、第１の実施の形態における差分二乗和ｄ（ｘ’，ｙ’）とは異なる値である。
【０３４６】
追尾処理部３４１Ａは、ＡＲＥＡＳＩＺＥ内でＢＬＯＣＫＳＩＺＥをはみださないで設定することができるすべての画素（１，１）乃至（Ｘ’，Ｙ’）についての輝度値の差分二乗和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）のなかで最小の差分二乗和ｄ（ｖ，ｗ）となる位置（ｖ，ｗ）を求め、決定する。従って、（ｖ，ｗ）は、（１，１）乃至（Ｘ’，Ｙ’）のなかのいずれかである。
【０３４７】
そして、追尾処理部３４１Ａは、位置（ｖ，ｗ）を、
ｘ（ｔ＋１）＝ｖ＋（ＢＬＯＣＫＳＩＺＥ−ＡＲＥＡＳＩＺＥ）／２＋ｘ（ｔ）
ｙ（ｔ＋１）＝ｗ＋（ＢＬＯＣＫＳＩＺＥ−ＡＲＥＡＳＩＺＥ）／２＋ｙ（ｔ）
に代入することにより、時刻ｔ＝１の入力画像における追尾位置（ｘ（１），ｙ（１））を求める。この求められた追尾位置（ｘ（１），ｙ（１））が、ズーム率（ｚ）とともに、時刻ｔ＝１における追尾処理結果（ｘa，ｙa，ｚ）として拡大処理部２４２Ａ’に供給される。
【０３４８】
図２８は、図２７を参照して説明した追尾処理部３４１Ａによる追尾処理のフローチャートである。
【０３４９】
初めに、ステップＳ１０１において、追尾処理部３４１Ａは、制御部２１７から供給される初期値（ｘ，ｙ，ｚ）を取得する。取得された初期値（ｘ，ｙ，ｚ）は、追尾処理部３４１Ａの内部に記憶される。
【０３５０】
ステップＳ１０２において、追尾処理部３４１Ａは、画像分配部２１２から供給される、時刻ｔ＝０の入力画像から探索テンプレートを検出する。より具体的には、追尾処理部３４１Ａは、画像分配部２１２から供給される時刻ｔ＝０の入力画像に対して、ユーザ指示点（ｘ（０），ｙ（０））を中心とするＢＬＯＣＫＳＩＺＥを探索テンプレートとして検出する。
【０３５１】
ステップＳ１０３において、追尾処理部３４１Ａは、次の時刻の入力画像が画像分配部２１２から供給されるまで待機する。
【０３５２】
ステップＳ１０４において、追尾処理部３４１Ａは、次の時刻の入力画像から探索対象画像を検出する。即ち、追尾処理部３４１Ａは、次の時刻の入力画像に対して、ユーザ指示点（ｘ（０），ｙ（０））を中心とするＡＲＥＡＳＩＺＥを探索対象画像として検出する。
【０３５３】
ステップＳ１０５において、追尾処理部３４１Ａは、ＡＲＥＡＳＩＺＥ内でＢＬＯＣＫＳＩＺＥをはみださないで設定することができるすべての画素（１，１）乃至（Ｘ’，Ｙ’）についての輝度値の差分二乗和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）を求める。得られた輝度値の差分二乗和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）は、評価値テーブルとして追尾処理部３４１Ａの内部に記憶される。
【０３５４】
ステップＳ１０６において、追尾処理部３４１Ａは、輝度値の差分二乗和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）のなかで最小の差分二乗和ｄ（ｖ，ｗ）となる位置（ｖ，ｗ）を求め、決定する。
【０３５５】
ステップＳ１０７において、追尾処理部３４１Ａは、位置（ｖ，ｗ）に基づいて、次の時刻の入力画像における追尾位置を求める。例えば、次の時刻が時刻ｔ＋１である場合には、追尾処理部３４１Ａは、位置（ｖ，ｗ）に基づいて、
ｘ（ｔ＋１）＝ｖ＋（ＢＬＯＣＫＳＩＺＥ−ＡＲＥＡＳＩＺＥ）／２＋ｘ（ｔ）
ｙ（ｔ＋１）＝ｗ＋（ＢＬＯＣＫＳＩＺＥ−ＡＲＥＡＳＩＺＥ）／２＋ｙ（ｔ）
を計算することにより、時刻ｔ＋１の入力画像における追尾位置（ｘ（１），ｙ（１））を求める。ステップＳ１０７ではまた、求められた追尾位置が、ズーム率とともに、次の時刻における追尾処理結果（ｘa，ｙa，ｚ）として、拡大処理部２４２Ａ’に供給される。
【０３５６】
ステップＳ１０８において、追尾処理部３４１Ａは、次の入力画像が供給されたかを判定する。ステップＳ１０８で、次の入力画像が供給されたと判定された場合、処理はステップＳ１０４に戻り、それ以降の処理が繰り返し実行される。
【０３５７】
一方、ステップＳ１０８で、次の入力画像が供給されないと判定された場合、処理は終了する。
【０３５８】
以上のように、追尾処理部３４１Ａの追尾処理では、時刻ｔにおいて、入力画像に対するユーザ指示点（ｘ（ｔ），ｙ（ｔ））がユーザによって指示されると、そのユーザ指示点（ｘ（ｔ），ｙ（ｔ））が指定された入力画像に対して設定された探索テンプレートと、順次入力される入力画像に設定された探索対象画像を比較することにより、ユーザ指示点（ｘ（ｔ），ｙ（ｔ））が追尾され、追尾処理結果（ｘ（ｔ＋１），ｙ（ｔ＋１））とズーム率ｚが、追尾処理結果（ｘa，ｙa，ｚ）として拡大処理部２４２Ａ’に供給される。
【０３５９】
この追尾処理部３４１Ａによる追尾処理は、ブロックマッチングと呼ばれる一般的な手法である。
【０３６０】
これに対して、追尾処理部３４１Ｂが行う追尾処理の方式は、図２８に示した追尾処理のステップＳ１０８において、次の入力画像が供給されたと判定された場合に、処理がステップＳ１０４に戻るのではなく、ステップＳ１０２に処理が戻る点が異なる。
【０３６１】
即ち、追尾処理部３４１Ａによる追尾処理では、ユーザがユーザ指示点（ｘ（ｔ），ｙ（ｔ））を指示したときの入力画像を常に基準の画像として探索テンプレートが変わらなかったが、追尾処理部３４１Ｂによる追尾処理では、探索テンプレートも最新の時刻の入力画像で設定される点が異なる。この追尾処理部３４１Ｂによる追尾処理は、追尾対象の形状変化に対して強いという利点を有する一方、徐々に追尾対象がずれていってしまうという側面も有する。
【０３６２】
一方、追尾処理部３４１Ｃによる追尾処理では、図２８に示した追尾処理のステップＳ１０５において計算される差分二乗和ｄ（１，１）乃至ｄ（Ｘ’，Ｙ’）が、輝度値で計算されるのではなくて、色差信号の値で計算される点が異なる。この追尾処理部３４１Ｃによる追尾処理の方式は、追尾対象や全画面での輝度変化に対して強いという利点を有する一方、一般的には輝度信号に比べて色差信号の方が空間周波数が低いので、追尾精度がやや劣るという側面を有する。
【０３６３】
以上のように、追尾処理部３４１Ａ乃至３４１Ｃは、それぞれ異なる追尾処理の方式で追尾処理を実行し、その結果得られる追尾処理結果（ｘa，ｙa，ｚ）、（ｘb，ｙb，ｚ）、および（ｘc，ｙc，ｚ）を、拡大処理部２４２Ａ’乃至２４２Ｃ’に１対１で供給する。
【０３６４】
次に、図２９のフローチャートを参照して、図２６の画像処理装置２００による画像処理（第２の画像処理）について説明する。
【０３６５】
初めに、ステップＳ１２１において、画像分配部２１２は、画像入力部２１１から入力画像が供給されたかを判定する。ステップＳ１２１で、入力画像が供給されないと判定された場合、処理は終了する。
【０３６６】
一方、ステップＳ１２１で、画像入力部２１１から入力画像が供給されたと判定された場合、処理はステップＳ１２２に進み、画像分配部２１２は、供給された入力画像を分配する。即ち、画像分配部２１２は、入力画像を画像処理部２１３−１乃至２１３−３および画像合成部２１４に供給する。
【０３６７】
ステップＳ１２３において、追尾処理部３４１Ａは、図２７および図２８を参照して説明したように、探索テンプレートを保持しながら輝度値でブロックマッチングを行うことにより、追尾処理を実行する。また、ステップＳ１２３では、同時に、追尾処理部３４１Ｂが、探索テンプレートを更新しながら輝度値でブロックマッチングを行うことにより、追尾処理を実行するとともに、追尾処理部３４１Ｃが、探索テンプレートを保持しながら色差信号でブロックマッチングを行うことにより、追尾処理を実行する。
【０３６８】
追尾処理部３４１Ａによる追尾処理結果（ｘa，ｙa，ｚ）は、拡大処理部２４２Ａ’に供給され、追尾処理部３４１Ｂによる追尾処理結果（ｘb，ｙb，ｚ）は拡大処理部２４２Ｂ’に供給される。また、追尾処理部３４１Ｃによる追尾処理結果（ｘc，ｙc，ｚ）は拡大処理部２４２Ｃ’に供給される。
【０３６９】
ステップＳ１２４において、拡大処理部２４２Ａ’乃至２４２Ｃ’は、並行して、画像分配部２１２から入力された入力画像の一部を拡大する拡大処理を実行する。即ち、拡大処理部２４２Ａ’は、追尾処理部３４１Ａから供給された追尾後の位置（ｘa，ｙa）を中心にズーム倍率ｚで拡大した拡大画像Ａ’を生成し、画像合成部２１４に供給する。拡大処理部２４２Ｂ’は、追尾処理部３４１Ｂから供給された追尾後の位置（ｘb，ｙb）を中心にズーム倍率ｚで拡大した拡大画像Ｂ’を生成し、画像合成部２１４に供給する。拡大処理部２４２Ｃ’は、追尾処理部３４１Ｃから供給された追尾後の位置（ｘc，ｙc）を中心にズーム倍率ｚで拡大した拡大画像Ｃ’を生成し、画像合成部２１４に供給する。
【０３７０】
ステップＳ１２５において、画像合成部２１４は、画像分配部２１２から供給された入力画像と、拡大処理部２４２Ａ’乃至２４２Ｃ’から供給された拡大画像Ａ’乃至Ｃ’を用いて合成画像を生成し、画像提示部２１５に供給する。また、画像合成部２１４は、合成画像のうちの主画面領域２８１に配置した画像である主画像を画像記録部２１６に供給する。
【０３７１】
ステップＳ１２６において、画像提示部２１５は、画像合成部２１４から供給される合成画像を所定の表示部に表示することにより、合成画像をユーザに提示する。また、ステップＳ１２６では、画像記録部２１６は、画像合成部２１４から供給される主画像を所定の記録媒体に記録する。
【０３７２】
ステップＳ１２７において、制御部２１７は、画像提示部２１５に表示された拡大画像Ａ’乃至Ｃ’のいずれかの拡大画像がユーザによって選択されたかを判定する。
【０３７３】
ステップＳ１２７で、拡大画像Ａ’乃至Ｃ’のいずれかの拡大画像がユーザによって選択されていないと判定された場合、処理はステップＳ１２１に戻り、それ以降の処理が繰り返し実行される。
【０３７４】
一方、ステップＳ１２７で、拡大画像Ａ’乃至Ｃ’のいずれかの拡大画像がユーザによって選択されたと判定された場合、処理はステップＳ１２８に進み、制御部２１７は、ユーザにより選択された拡大画像の追尾処理結果を次の初期値（ｘ，ｙ，ｚ）として追尾処理部３４１Ａ乃至３４１Ｃに供給する。その後、処理はステップＳ１２１に戻り、それ以降の処理が繰り返し実行される。
【０３７５】
図３０および図３１を参照して、第２の実施の形態における画面制御について説明する。
【０３７６】
図３０は、ユーザの操作に基づいて、画像提示部２１５に表示される表示画面が表示画面３６０Ａ乃至３６０Ｊの順で遷移する様子を示している。なお、図３０では、図が煩雑となるのを避けるため、主画面領域２８１および副画面領域２８２−１乃至２８２−３の符号の図示が一部省略されている。
【０３７７】
例えば、初期状態として、画像提示部２１５では、表示画面３６０Ａが表示されているとする。表示画面３６０Ａでは、主画面領域２８１に拡大処理部２４２Ａ’からの拡大画像Ａ’が表示され、副画面領域２８２−１に入力画像が表示されている。また、副画面領域２８２−２に拡大画像Ｂ’が、副画面領域２８２−３に拡大画像Ｃ’が表示されている。
【０３７８】
この初期状態において、ユーザがリモートコマンダの下キーＤＮを操作すると、画像提示部２１５は、その操作を制御部２１７を介して取得し、表示画面３６０Ｂを表示させる。表示画面３６０Ｂでは、表示画面３６０Ａの表示に加えて、所定の副画面領域をハイライトさせるハイライト表示２９１が副画面領域２８２−１に表示されている。
【０３７９】
表示画面３６０Ｂが表示された状態において、ユーザがリモートコマンダの下キーＤＮを操作すると、画像提示部２１５は、ハイライト表示２９１を副画面領域２８２−２に移動させた表示画面３６０Ｃを表示させる。
【０３８０】
次に、表示画面３６０Ｃが表示された状態において、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、画像提示部２１５は、主画面領域２８１の拡大画像Ａ’と副画面領域２８２−２の拡大画像Ｂ’とを入れ替えた表示画面３６０Ｄを表示させる。
【０３８１】
表示画面３６０Ｄが表示された状態において、ユーザがリモートコマンダの上キーＵＰを操作すると、画像提示部２１５は、ハイライト表示２９１を副画面領域２８２−１に移動させた表示画面３６０Ｅを表示させる。
【０３８２】
さらに表示画面３６０Ｅが表示された状態において、ユーザがリモートコマンダの上キーＵＰを操作すると、現在のハイライト表示２９１が副画面領域２８２−１乃至２８２−３のなかの最上段の副画面領域２８２−１なので、画像提示部２１５は、ハイライト表示２９１を副画面領域２８２−３に移動させた表示画面３６０Ｆを表示させる。
【０３８３】
表示画面３６０Ｆが表示された状態において、ユーザがさらにリモートコマンダの上キーＵＰを操作すると、画像提示部２１５は、ハイライト表示２９１を副画面領域２８２−２に移動させた表示画面３６０Ｇを表示させる。
【０３８４】
そして、表示画面３６０Ｇが表示された状態において、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、画像提示部２１５は、主画面領域２８１の拡大画像Ｂ’と副画面領域２８２−２の拡大画像Ａ’とを入れ替えた表示画面３６０Ｈを表示させる。
【０３８５】
表示画面３６０Ｈが表示された状態において、ユーザがリモートコマンダの下キーＤＮを操作すると、画像提示部２１５は、ハイライト表示２９１を副画面領域２８２−３に移動させた表示画面３６０Ｉを表示させる。
【０３８６】
そして、表示画面３６０Ｉが表示された状態において、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、画像提示部２１５は、主画面領域２８１の拡大画像Ａ’と副画面領域２８２−３の拡大画像Ｃ’とを入れ替えた表示画面３６０Ｊを表示させる。
【０３８７】
以上のように、第２の実施の形態では、副画面領域２８２−１乃至２８２−３のなかのユーザによって選択された拡大画像が、主画面領域２８１に表示され、それまで主画面領域２８１に表示されていた拡大画像が、副画面領域２８２−１乃至２８２−３のなかの選択された副画面領域に表示される。即ち、主画面領域２８１の拡大画像と、副画面領域２８２−１乃至２８２−３のなかのユーザにより選択された拡大画像が入れ替わる。
【０３８８】
次に、図３０に説明したように、副画面領域２８２−１乃至２８２−３に表示されている拡大画像Ａ’乃至Ｃ’が選択された場合の、追尾位置の遷移について図３１を参照して説明する。
【０３８９】
図３１では、横軸を時間ｔ、縦軸を追尾位置（ｘ（ｔ），ｙ（ｔ））のうちのｘ（ｔ）座標を示している。
【０３９０】
上述したように、追尾処理部３４１Ａ乃至３４１Ｃがそれぞれ異なる追尾方式で追尾処理を行い、副画面領域２８２−１乃至２８２−３に表示されている拡大画像Ａ’乃至Ｃ’のいずれかをユーザが選択したときに、制御部２１７が、その選択された拡大画像の追尾処理結果を次の初期値（ｘ，ｙ，ｚ）として追尾処理部３４１Ａ乃至３４１Ｃに供給することにより、追尾位置がリセットされる。
【０３９１】
図３１に示す例では、時刻ｘ（１０）において、ユーザによって指示された初期値（ｘ，ｙ，ｚ）が制御部２１７から追尾処理部３４１Ａ乃至３４１Ｃに供給され、それ以降、追尾処理部３４１Ａ乃至３４１Ｃがそれぞれ異なる追尾方式で追尾処理を行う。時刻ｘ（１０）では、表示画面３６０Ａが画像提示部２１５によって提示されている状態である。
【０３９２】
表示画面３６０Ｃ（図３０）が表示されている状態の時刻ｘ（２０）において、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、画像提示部２１５は、主画面領域２８１の拡大画像Ａ’と副画面領域２８２−２の拡大画像Ｂ’とを入れ替えた表示画面３６０Ｄを表示させる。また、制御部２１７は、時刻ｘ（２０）に追尾処理部３４１Ｂから供給されていた追尾処理結果（ｘb，ｙb，ｚ）を初期値（ｘ，ｙ，ｚ）として再び追尾処理部３４１Ａ乃至３４１Ｃに供給する。これにより、追尾処理部３４１Ａ乃至３４１Ｃのすべてが、時刻ｘ（２０）以降、時刻ｘ（２０）の追尾処理結果（ｘb，ｙb，ｚ）から追尾処理を実行する。
【０３９３】
さらに所定時間経過後、表示画面３６０Ｇ（図３０）が表示されている状態の時刻ｘ（４０）において、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、画像提示部２１５は、主画面領域２８１の拡大画像Ｂ’と副画面領域２８２−２の拡大画像Ａ’とを入れ替えた表示画面３６０Ｈを表示させる。また、制御部２１７は、時刻ｘ（４０）に追尾処理部３４１Ａから供給されていた追尾処理結果（ｘa，ｙa，ｚ）を初期値（ｘ，ｙ，ｚ）として再び追尾処理部３４１Ａ乃至３４１Ｃに供給する。これにより、追尾処理部３４１Ａ乃至３４１Ｃのすべてが、時刻ｘ（４０）以降、時刻ｘ（４０）の追尾処理結果（ｘa，ｙa，ｚ）から追尾処理を実行する。
【０３９４】
同様に、時刻ｘ（４０）から所定時間経過後時刻ｘ（４５）において、表示画面３６０Ｉ（図３０）が表示されている状態で、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、画像提示部２１５は、主画面領域２８１の拡大画像Ａ’と副画面領域２８２−３の拡大画像Ｃ’とを入れ替えた表示画面３６０Ｊを表示させる。また、制御部２１７は、時刻ｘ（４５）に追尾処理部３４１Ｃから供給されていた追尾処理結果（ｘc，ｙc，ｚ）を初期値（ｘ，ｙ，ｚ）として再び追尾処理部３４１Ａ乃至３４１Ｃに供給する。これにより、追尾処理部３４１Ａ乃至３４１Ｃのすべてが、時刻ｘ（４５）以降、時刻ｘ（４５）の追尾処理結果（ｘc，ｙc，ｚ）から追尾処理を実行する。
【０３９５】
以上のように、追尾処理部３４１Ａ乃至３４１Ｃそれぞれが異なる追尾処理方式で追尾処理を行ったときの追尾処理結果を同時に表示して、ユーザに提示することで、ユーザは、各追尾処理方式の長所が現れた追尾処理結果を選択することができる。ユーザによって選択され、主画面領域２８１に表示されている拡大画像（拡大画像Ａ’乃至Ｃ’のいずれか）は、画像記録部２１６に記録されるので、ユーザは、より希望する処理結果を得ることができる。
【０３９６】
図３２は、第２の実施の形態において、各追尾処理による追尾処理結果の差がより分かり易くなるようにした表示画面のその他の例を示している。
【０３９７】
図３２では、領域を均等に４分割し、その左上に主画面領域２８１、その他の３領域を副画面領域２８２−１乃至２８２−３とした表示画面４００の例が示されている。
【０３９８】
いま図２６の画像処理装置２００において、入力画像に対して追尾処理された追尾処理結果が、図３３Ａに示すとおりであるとする。即ち、図３３Ａでは、追尾処理部３４１Ａ乃至３４１Ｃによる追尾位置が、それぞれ、追尾位置４１１Ａ，４１１Ｂ、および４１１Ｃである。
【０３９９】
また、追尾処理部３４１Ｃによる追尾処理結果がユーザにより選択されているとする。即ち、図３２の表示画面４００の主画面領域２８１に、追尾処理部３４１Ｃによる追尾処理結果が表示される。
【０４００】
ここで、主画面領域２８１に表示されている追尾位置４１１Ｃを基準とすると、追尾位置４１１Ａは、ｘ方向に位置がずれている。一方、追尾位置４１１Ｂは、ｙ方向に位置がずれている。
【０４０１】
このような条件下では、例えば、図３３Ｂに示されるような表示と、図３３Ｃに示されるような表示が考えられる。
【０４０２】
図３３Ｂでは、副画面領域２８２−１に追尾処理部３４１Ａによる追尾位置４１１Ａを基準に拡大処理した拡大画像Ａ’を配置し、副画面領域２８２−２に追尾処理部３４１Ｂによる追尾位置４１１Ｂを基準に拡大処理した拡大画像Ｂ’を配置し、副画面領域２８２−３に入力画像を配置した表示画面が示されている。
【０４０３】
一方、図３３Ｃでは、副画面領域２８２−１に追尾処理部３４１Ｂによる追尾位置４１１Ｂを基準に拡大処理した拡大画像Ｂ’を配置し、副画面領域２８２−２に追尾処理部３４１Ａによる追尾位置４１１Ａを基準に拡大処理した拡大画像Ａ’を配置し、副画面領域２８２−３に入力画像を配置した表示画面が示されている。
【０４０４】
なお、図３３Bおよび図３３Cにおける点線は、違いを分かり易くするために付した補助線である。
【０４０５】
図３３Ｂと図３３Ｃの表示画面を比較すると、図３３Ｃの表示画面の方が、主画面領域２８１に表示されている追尾位置４１１Ｃを基準に拡大処理した拡大画像Ｃ’との差がわかりやすい。
【０４０６】
そこで、画像合成部２１４は、主画面領域２８１に表示されている拡大画像と比較がしやすいように、副画面領域２８２−１および２８２−２に表示させる拡大画像を、追尾処理結果に応じて変更する。
【０４０７】
より具体的には、画像合成部２１４は、主画面領域２８１に表示されている追尾処理部３４１の追尾位置と、選択されていない残りの２つの追尾処理部３４１の追尾位置それぞれとの差を追尾差分ベクトルとして求め、その求められた追尾差分ベクトルの水平成分と垂直成分との比（垂直成分／水平成分）をさらに求める。そして、画像合成部２１４は、求められた２つの比のうち、大きい方に対応する追尾処理部３４１の追尾位置を基準とした拡大画像を副画面領域２８２−２に、小さい方に対応する追尾処理部３４１の追尾位置を基準とした拡大画像を副画面領域２８２−１に表示させる。
【０４０８】
このようにすることで、主画面領域２８１に表示されている拡大画像と比較がしやすいように、拡大画像を副画面領域２８２−１および２８２−２に表示させることができる。
【０４０９】
図３４は、図１４の画像処理装置２００の第３の詳細構成例（第３の実施の形態）を示すブロック図である。
【０４１０】
画像処理部２１３−１は、拡大処理部２４２Ａ”により構成されており、画像処理部２１３−２は、拡大処理部２４２Ｂ”により構成されている。また、画像処理部２１３−３は、拡大処理部２４２Ｃ”により構成されている。
【０４１１】
制御部２１７は、同期特徴量抽出部４７１、シーケンス再生部４７２Ａ乃至４７２Ｃ、スイッチャ部４７３、および制御指令部４７４により構成されている。
【０４１２】
拡大処理部２４２Ａ”乃至２４２Ｃ”は、第２の実施の形態における拡大処理部２４２Ａ’乃至２４２Ｃ’と同様に拡大処理を実行し、処理後の拡大画像を画像合成部２１４に供給する。拡大処理部２４２Ａ”乃至２４２Ｃ”それぞれが拡大処理する領域は、スイッチャ部４７３から供給されるズームパラメータ（ｘa”，ｙa”，ｚ）、（ｘb”，ｙb”，ｚ）、または（ｘc”，ｙc”，ｚ）で決定される入力画像の所定の領域である。なお、以下では、ズームパラメータ（ｘa”，ｙa”，ｚ）に基づいて拡大した拡大画像を拡大画像Ａ”、ズームパラメータ（ｘb”，ｙb”，ｚ）に基づいて拡大した拡大画像を拡大画像Ｂ”、ズームパラメータ（ｘc”，ｙc”，ｚ）に基づいて拡大した拡大画像を拡大画像Ｃ”とする。
【０４１３】
拡大処理部２４２Ａ”乃至２４２Ｃ”は、それぞれ異なる方式により拡大処理を実行する。画像合成部２１４では、図２０に示した主画面領域２８１と副画面領域２８２−１乃至２８２−３とにより構成される表示画面２７０に拡大処理後の拡大画像Ａ”乃至Ｃ”を表示させるが、拡大処理部２４２Ａ”は、主画面領域２８１用に、高画質な（高性能な）拡大処理を行う。一方、拡大処理部２４２Ｂ”および２４２Ｃ”は、副画面領域２８２−１乃至２８２−３用に、低画質な（簡易的な）拡大処理を行う。
【０４１４】
拡大処理部２４２Ａ”が行う拡大処理は、例えば、上述したクラス分類適応処理を採用した処理とすることができる。また、拡大処理部２４２Ｂ”および２４２Ｃ”が行う拡大処理は、例えば、線形補間による処理とし、拡大処理部２４２Ｂ”と２４２Ｃ”とでは補間する間隔が異なるものとすることができる。
【０４１５】
制御部２１７の同期特徴量抽出部４７１は、その内部に、入力画像に対する同期特徴量のタイムテーブル４６１（図３５）を記憶している。ここで、同期特徴量とは、入力画像の同期をとるために用いられる入力画像の特徴量であり、その同期特徴量としては、本実施の形態では、１６ビットで表される、入力画像の輝度値の平均値（平均輝度値）と、入力画像の全画素の輝度値の合計値（合計輝度値）の下位１６ビットが採用される。また、同期特徴量のタイムテーブル４６１とは、各入力画像が動画像中のどのシーンの画像であるかを表すタイムコードと、入力画像の同期特徴量とを対応付けたテーブルである。２時間程度の映画などの、再現性のある入力画像では、上述の２つの同期特徴量を用いることにより、入力画像のシーンをほぼ確実に判定することができる。なお、同期特徴量として、その他の画像の特徴量を採用することも勿論可能である。
【０４１６】
同期特徴量抽出部４７１は、画像分配部２１２から供給された入力画像の同期特徴量を算出（抽出）し、同期特徴量のタイムテーブル４６１を参照することにより、いま画像分配部２１２から供給された入力画像に対応するタイムコードを検出する。同期特徴量抽出部４７１は、検出したタイムコードをシーケンス再生部４７２Ａ乃至４７２Ｃに供給する。
【０４１７】
シーケンス再生部４７２Ａ乃至４７２Ｃは、それぞれ、タイムコードとズームパラメータとを対応付けたパラメータテーブルを記憶している。シーケンス再生部４７２Ａ乃至４７２Ｃがパラメータテーブルとして記憶しているズームパラメータは、それぞれ異なるものである。したがって、同期特徴量抽出部４７１から同一のタイムコードがシーケンス再生部４７２Ａ乃至４７２Ｃに供給されるが、スイッチャ部４７３には、シーケンス再生部４７２Ａ乃至４７２Ｃそれぞれから異なるズームパラメータが供給される。
【０４１８】
より具体的には、シーケンス再生部４７２Ａは、同期特徴量抽出部４７１から供給されるタイムコードに対応して、ズームパラメータ（ｘa”，ｙa”，ｚ）をスイッチャ部４７３に供給する。シーケンス再生部４７２Ｂは、同期特徴量抽出部４７１から供給されるタイムコードに対応して、ズームパラメータ（ｘb”，ｙb”，ｚ）をスイッチャ部４７３に供給する。シーケンス再生部４７２Ｃは、同期特徴量抽出部４７１から供給されるタイムコードに対応して、ズームパラメータ（ｘc”，ｙc”，ｚ）をスイッチャ部４７３に供給する。
【０４１９】
ズームパラメータ（ｘa”，ｙa”，ｚ）は、拡大処理を行うときの中心位置（ｘa”，ｙa”）とズーム倍率ｚを表す。ズームパラメータ（ｘb”，ｙb”，ｚ）および（ｘc”，ｙc”，ｚ）についても同様である。なお、シーケンス再生部４７２Ａ乃至４７２Ｃが出力するズームパラメータのうちのズーム倍率ｚは共通としているが、ズーム倍率ｚもシーケンス再生部４７２Ａ乃至４７２Ｃそれぞれで異なる値とすることが可能である。
【０４２０】
スイッチャ部４７３には、ユーザがリモートコマンダ等を操作することにより、表示画面２７０の主画面領域２８１に表示させる拡大画像を選択した情報であって、拡大画像Ａ”乃至Ｃ”のいずれかを表す情報である選択情報が、制御指令部４７４から供給される。
【０４２１】
スイッチャ部４７３は、選択情報が表す拡大画像に対して、最も高画質の拡大処理が行われるように、ズームパラメータ（ｘa”，ｙa”，ｚ）、（ｘb”，ｙb”，ｚ）、および（ｘc”，ｙc”，ｚ）を適宜選択して、拡大処理部２４２Ａ”乃至２４２Ｃ”に１対１に供給する。即ち、スイッチャ部４７３は、選択情報として拡大画像Ａ”が供給された場合には、ズームパラメータ（ｘa”，ｙa”，ｚ）を拡大処理部２４２Ａ”に供給し、選択情報として拡大画像Ｂ”が供給された場合には、ズームパラメータ（ｘb”，ｙb”，ｚ）を拡大処理部２４２Ａ”に供給し、選択情報として拡大画像Ｃ”が供給された場合には、ズームパラメータ（ｘc”，ｙc”，ｚ）を拡大処理部２４２Ａ”に供給する。
【０４２２】
制御指令部４７４は、ユーザがリモートコマンダ等を操作することにより指示した、表示画面２７０の主画面領域２８１に表示させる拡大画像を選択情報としてスイッチャ部４７３に供給する。また、制御指令部４７４は、リモートコマンダの下キーＤＮ、上キーＵＰ、決定キーＲＴＮ等の操作を表す操作情報を画像合成部２１４に供給する。
【０４２３】
画像合成部２１４は、拡大処理部２４２Ａ”乃至２４２Ｃ”から供給される拡大画像Ａ”乃至C”と画像分配部２１２から供給される入力画像を合成した合成画像を生成し、画像提示部２１５に供給する。ここで、画像合成部２１４は、拡大処理部２４２Ａ”から供給される拡大画像を表示画面２７０の主画面領域２８１に配置させるように合成画像を生成する。
【０４２４】
また、画像合成部２１４は、制御指令部４７４からの操作情報に基づいて、副画面領域２８２−１乃至２８２−３のなかの所定の領域にハイライト表示２９１をさせる。
【０４２５】
次に、図３５を参照して、同期特徴量抽出部４７１によるタイムコード検出処理について説明する。
【０４２６】
最初に、同期特徴量抽出部４７１は、画像分配部２１２から供給された入力画像の同期特徴量を算出する。図３５は、算出された同期特徴量が、平均輝度値“２４５６４”および合計輝度値の下位１６ビット“３２１５５”である例を示している。
【０４２７】
そして、同期特徴量抽出部４７１は、同期特徴量のタイムテーブル４６１から、同一の同期特徴量を持つタイムコードを検出する。図３５のタイムテーブル４６１では、タイムコード“２”に対応する同期特徴量が、算出された同期特徴量と一致している。従って、同期特徴量抽出部４７１は、タイムコード“２”をシーケンス再生部４７２Ａ乃至４７２Ｃに供給する。
【０４２８】
次に、図３６乃至図３８を参照して、第３の実施の形態における画面制御について説明する。
【０４２９】
図３６は、ユーザの操作に基づいて、画像提示部２１５に表示される表示画面が表示画面４８０Ａ乃至４８０Ｄの順で遷移する様子を示している。なお、図３６では、図３０と同様に、主画面領域２８１および副画面領域２８２−１乃至２８２−３の符号の図示が一部省略されている。
【０４３０】
初期状態では、表示画面４８０Ａが表示されている。表示画面４８０Ａでは、主画面領域２８１にシーケンス再生部４７２Ａで指定されたズームパラメータ（ｘa”，ｙa”，ｚ）に基づいて拡大した拡大画像Ａ”が表示され、副画面領域２８２−１に入力画像が、副画面領域２８２−２にシーケンス再生部４７２Ｂで指定されたズームパラメータ（ｘb”，ｙb”，ｚ）に基づいて拡大した拡大画像Ｂ”が、副画面領域２８２−３にシーケンス再生部４７２Ｃで指定されたズームパラメータ（ｘc”，ｙc”，ｚ）に基づいて拡大した拡大画像Ｃ”が表示されている。
【０４３１】
即ち、初期状態では、スイッチャ部４７３は、図３７に示すように、シーケンス再生部４７２Ａから供給されたズームパラメータ（ｘa”，ｙa”，ｚ）を拡大処理部２４２Ａ”に供給し、シーケンス再生部４７２Ｂから供給されたズームパラメータ（ｘb”，ｙb”，ｚ）を拡大処理部２４２Ｂ”に供給している。また、スイッチャ部４７３は、シーケンス再生部４７２Ｃから供給されたズームパラメータ（ｘc”，ｙc”，ｚ）を拡大処理部２４２Ｃ”に供給している。
【０４３２】
図３６に戻り、表示画面４８０Ａの状態から、ユーザがリモートコマンダの下キーＤＮを操作すると、画像提示部２１５は、その操作を制御指令部４７４を介して取得し、表示画面４８０Ｂを表示させる。表示画面４８０Ｂでは、表示画面４８０Ａの表示に加えて、所定の副画面領域をハイライトさせるハイライト表示２９１が副画面領域２８２−１に表示されている。
【０４３３】
表示画面４８０Ｂが表示された状態において、ユーザがリモートコマンダの下キーＤＮを操作すると、画像提示部２１５は、ハイライト表示２９１を副画面領域２８２−２に移動させた表示画面４８０Ｃを表示させる。
【０４３４】
次に、表示画面４８０Ｃが表示された状態において、ユーザがリモートコマンダの決定キーＲＴＮを操作すると、拡大画像Ｂ”が選択されたことを表す選択情報が制御指令部４７４からスイッチャ部４７３に供給される。
【０４３５】
スイッチャ部４７３は、図３８に示すように、拡大処理部２４２Ａ”と拡大処理部２４２Ｂ”に供給するズームパラメータを入れ替える。即ち、スイッチャ部４７３は、シーケンス再生部４７２Ａから供給されたズームパラメータ（ｘa”，ｙa”，ｚ）を拡大処理部２４２Ｂ”に供給し、シーケンス再生部４７２Ｂから供給されたズームパラメータ（ｘb”，ｙb”，ｚ）を拡大処理部２４２Ａ”に供給する。シーケンス再生部４７２Ｃから供給されたズームパラメータ（ｘc”，ｙc”，ｚ）は、そのまま拡大処理部２４２Ｃ”に供給される。
【０４３６】
その結果、図３６の表示画面４８０Ｄが表示される。表示画面４８０Ｄでは、主画面領域２８１にズームパラメータ（ｘa”，ｙa”，ｚ）に基づいて拡大した大画像Ａ”が、副画面領域２８２−２にズームパラメータ（ｘb”，ｙb”，ｚ）に基づいて拡大した拡大画像Ｂ”が表示されている。
【０４３７】
次に、図３９のフローチャートを参照して、図３４の画像処理装置２００による画像処理（第３の画像処理）について説明する。
【０４３８】
初めに、ステップＳ１４１において、画像分配部２１２は、画像入力部２１１から入力画像が供給されたかを判定する。ステップＳ１４１で、入力画像が供給されないと判定された場合、処理は終了する。
【０４３９】
一方、ステップＳ１４１で、画像入力部２１１から入力画像が供給されたと判定された場合、処理はステップＳ１４２に進み、画像分配部２１２は、供給された入力画像を分配する。即ち、画像分配部２１２は、入力画像を、同期特徴量抽出部４７１、シーケンス再生部４７２Ａ乃至４７２Ｃ、拡大処理部２４２Ａ”乃至２４２Ｃ”、および画像合成部２１４に供給する。
【０４４０】
ステップＳ１４３において、同期特徴量抽出部４７１は、画像分配部２１２から供給された入力画像の同期特徴量を算出し、ステップＳ１４４において、タイムテーブル４６１を参照することにより、算出された同期特徴量に対応するタイムコードを検出する。検出されたタイムコードは、シーケンス再生部４７２Ａ乃至４７２Ｃに供給される。
【０４４１】
ステップＳ１４５において、シーケンス再生部４７２Ａ乃至４７２Ｃは、タイムコードとズームパラメータとを対応付けたパラメータテーブルを参照し、供給されたタイムコードに対応するズームパラメータをスイッチャ部４７３に供給する。シーケンス再生部４７２Ａは、ズームパラメータ（ｘa”，ｙa”，ｚ）をスイッチャ部４７３に供給し、シーケンス再生部４７２Ｂは、ズームパラメータ（ｘb”，ｙb”，ｚ）をスイッチャ部４７３に供給する。シーケンス再生部４７２Ｃは、ズームパラメータ（ｘc”，ｙc”，ｚ）をスイッチャ部４７３に供給する。
【０４４２】
ステップＳ１４６において、スイッチャ部４７３は、制御指令部４７４からの選択情報に基づいて、シーケンス再生部４７２Ａ乃至４７２Ｃから供給されたズームパラメータを拡大処理部２４２Ａ”乃至２４２Ｃ”に供給する。
【０４４３】
ステップＳ１４７において、拡大処理部２４２Ａ”乃至２４２Ｃ”は、それぞれ、拡大処理を実行し、処理後の拡大画像を画像合成部２１４に供給する。
【０４４４】
ステップＳ１４８において、画像合成部２１４は、画像分配部２１２から供給された入力画像と、拡大処理された拡大画像Ａ”乃至Ｃ”を用いて合成画像を生成し、画像提示部２１５に供給する。ここで、画像合成部２１４は、拡大処理部２４２Ａ”から供給された拡大画像が主画面領域２８１に表示されるように合成画像を生成する。また、画像合成部２１４は、合成画像のうちの主画面領域２８１に配置した画像である主画像を画像記録部２１６に供給する。
【０４４５】
ステップＳ１４９において、画像提示部２１５は、画像合成部２１４から供給される合成画像を所定の表示部に表示することにより、ユーザに提示する。また、ステップＳ１４９では、画像記録部２１６は、画像合成部２１４から供給される主画像を所定の記録媒体に記録する。ステップＳ１４９の処理後、処理はステップＳ１４１に戻り、それ以降の処理が繰り返し実行される。
【０４４６】
以上のように、図３４の画像処理装置２００による第３の画像処理では、画像分配部２１２から供給された入力画像と、拡大処理された拡大画像Ａ”乃至Ｃ”とによる合成画像を画像提示部２１５において表示させ、ユーザは、その表示された画像のなかから所望の画像を選択することができる。
【０４４７】
拡大処理された拡大画像Ａ”乃至Ｃ”は、異なるズームパラメータ（ｘa”，ｙa”，ｚ）、（ｘb”，ｙb”，ｚ）、および（ｘc”，ｙc”，ｚ）で決定された領域を拡大した画像であるので、それぞれ異なる画像となる。したがって、ユーザは、入力画像または拡大画像Ａ”乃至Ｃ”を逐次切り替えることによって、主画面領域２８１においてあたかも複数のカメラ画枠からの入力をスイッチングしているかのような編集が可能となる。また、副画面領域２８２−１乃至２８２−３に選択されていないその他の入力画像または拡大画像Ａ”乃至Ｃ”も表示させるので、ユーザは、比較しながらの編集が可能となる。
【０４４８】
また、スイッチャ部４７３が、ユーザの選択に応じて拡大処理部２４２Ａ”乃至２４２Ｃ”に供給するズームパラメータを入れ替えることにより、主画面領域２８１に表示される主画像、および、画像記録部２１６に記録させる主画像を、常に高画質な拡大処理によって拡大させた拡大画像とすることができる。これにより、大画面で見たり、記録するための拡大画像に対しては高画質な拡大処理をすることができる一方、記録に必要のない拡大画像に対しては安価な処理部を採用することができ、全体としてのコストを抑制することができるとともに、拡大処理部２４２Ａ”乃至２４２Ｃ”の持つ性能を有効に活用することができる。即ち、処理のためのリソースを効率的に分配することが可能である。
【０４４９】
次に、第３の実施の形態の変形例について説明する。
【０４５０】
上述した例では、図４０Ａに示すように、副画面領域２８２−１乃至２８２−３のいずれかに表示されている拡大画像であってユーザが選択した拡大画像と、主画面領域２８１に表示されている拡大画像の配置が交換され、ユーザによって選択される以外は、副画面領域２８２−１乃至２８２−３に表示されているその他の画像の配置は変わらなかったが、副画面領域２８２−１乃至２８２−３に表示されている画像の配置を、主画面領域２８１に表示されている拡大画像との相関に応じて変更させるようにすることができる。画像処理装置２００は、例えば、図４０Ｂに示すように、主画面領域２８１に表示されている拡大画像Ａ”により似ている画像（相関値の大きい画像）を副画面領域２８２−１乃至２８２−３の、より上部に配置させるようにする。
【０４５１】
より具体的には、画像合成部２１４は、定期的に、または所定のタイミングで、主画面領域２８１の表示用に入力された画像と、副画面領域２８２−１乃至２８２−３の表示用に入力された３つの画像それぞれとの相関値corrを次式（２９）により計算する。
【０４５２】
【数２９】
0005152559.tif 000030
【０４５３】
式（２９）において、ｐｖ1（ｘ，ｙ）は、主画面領域２８１に表示される画像の所定の位置（ｘ，ｙ）における輝度値、ｐｖ2（ｘ，ｙ）は、比較対象の副画面領域２８２−１乃至２８２−３に表示された画像いずれかの対応する位置（ｘ，ｙ）における輝度値、ｐｖ1＿ａｖは、主画面領域２８１に表示される画像の平均輝度値、ｐｖ2＿ａｖは、比較対象の副画面領域２８２−１乃至２８２−３に表示された画像いずれかの平均輝度値である。
【０４５４】
そして、画像合成部２１４は、計算された３つの相関値corrのなかで、相関値corrの大きい順に、副画面領域２８２−１乃至２８２−３の上から表示されるように合成画像を生成し、画像提示部２１５に供給する。これにより、ユーザは切り替え候補となる画像のなかから、所望の画像を容易に見つけることができる。
【０４５５】
以上のように、上述した第１乃至第３の実施の形態では、入力された動画像に対して異なる複数の画像処理を施し、処理後の画像を同時に表示させて容易に比較することができる。
【０４５６】
なお、上述した例では、画像合成部２１４は、主画面領域２８１と、その右側に配置される副画面領域２８２−１乃至２８２−３とで構成される表示画面２７０（図２０）に対応するように合成画像を生成したり、領域を均等に４分割した表示画面４００（図３２）に対応するように合成画像を生成したが、その他の合成方法を採用することも可能である。
【０４５７】
画像合成部２１４によるその他の合成方法としては、図４１A乃至図４１Dに示すような合成方法がある。また、複数画面に表示することが可能である場合には、図４１Eに示すように、主画像と副画像を別々の画面で表示するようにしてもよい。
【０４５８】
図４１Bおよび図４１Cに示すように、複数の副画像を一列に並べる場合には、図３３を参照して説明した追尾差分ベクトルの大きい順に表示させたり、図４０を参照して説明したように、相関値corrの大きい順に表示させることがより有効となる。
【０４５９】
また、ハイライト表示は、図２１や図３０に示したような領域の周囲を囲む枠表示以外の表示とすることが可能である。
【０４６０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０４６１】
図４２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０４６２】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０４６３】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、キーボード、マウス、マイクロホンなどよりなる入力部６０６、ディスプレイ、スピーカなどよりなる出力部６０７、ハードディスクや不揮発性のメモリなどよりなる記憶部６０８、ネットワークインタフェースなどよりなる通信部６０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６１１を駆動するドライブ６１０が接続されている。
【０４６４】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した第１乃至第３の画像処理が行われる。
【０４６５】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア６１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０４６６】
そして、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０４６７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４６８】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４６９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０４７０】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０４７１】
【図１】クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示すブロック図である。
【図２】画像変換装置による画像変換処理を説明するフローチャートである。
【図３】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図４】学習装置の学習部の構成例を示すブロック図である。
【図５】各種の画像変換処理を説明するための図である。
【図６】学習装置による学習処理を説明するフローチャートである。
【図７】クラス分類適応処理による画像変換処理を行う画像変換装置の構成例を示すブロック図である。
【図８】画像変換装置の係数出力部の構成例を示すブロック図である。
【図９】係数種データを学習する学習装置の構成例を示すブロック図である。
【図１０】学習装置の学習部の構成例を示すブロック図である。
【図１１】学習装置による学習処理を説明するフローチャートである。
【図１２】係数種データを学習する学習装置の構成例を示すブロック図である。
【図１３】学習装置の学習部の構成例を示すブロック図である。
【図１４】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図１５】図１４の画像処理装置の第１の詳細構成例を示すブロック図である。
【図１６】画像比較処理の詳細について説明する図である。
【図１７】画像比較処理の詳細について説明する図である。
【図１８】画像比較処理の詳細を説明するフローチャートである。
【図１９】第１の画像処理を説明するフローチャートである。
【図２０】表示画面の例を示す図である。
【図２１】第１の実施の形態における画面制御について説明する図である。
【図２２】第１の実施の形態における画面制御について説明する図である。
【図２３】第１の実施の形態における画面制御について説明する図である。
【図２４】パラメータ設定画面について説明する図である。
【図２５】パラメータ設定画面について説明する図である。
【図２６】図１４の画像処理装置の第２の詳細構成例を示すブロック図である。
【図２７】追尾処理について説明する図である。
【図２８】追尾処理を説明するフローチャートである。
【図２９】第２の画像処理を説明するフローチャートである。
【図３０】第２の実施の形態における画面制御について説明する図である。
【図３１】第２の実施の形態における画面制御について説明する図である。
【図３２】表示画面のその他の例を示す図である。
【図３３】画面制御について説明する図である。
【図３４】図１４の画像処理装置の第３の詳細構成例を示すブロック図である。
【図３５】タイムコード検出処理について説明する図である。
【図３６】第３の実施の形態における画面制御について説明する図である。
【図３７】第３の実施の形態における画面制御について説明する図である。
【図３８】第３の実施の形態における画面制御について説明する図である。
【図３９】第３の画像処理を説明するフローチャートである。
【図４０】第３の実施の形態におけるその他の画面制御について説明する図である。
【図４１】画像合成のその他の例について説明する図である。
【図４２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０４７２】
２００  画像処理装置，  ２１３−１乃至２１３−３  画像処理部，  ２１４  画像合成部，  ２１７  制御部，  ２４１Ａ乃至２４１Ｃ  画質変更処理部，  ２４２Ａ乃至２４２Ｃ  拡大処理部，  ２６２  画像比較部，  ３４１A乃至３４１C  追尾処理部，  ２４２Ａ’乃至２４２Ｃ’  拡大処理部，  ４７１  同期特徴量抽出部，  ４７２Ａ乃至４７２Ｃ  シーケンス再生部，  ２４２Ａ”乃至２４２Ｃ”  拡大処理部，  ４７３  スイッチャ部
【図１】
0005152559.tif 000031
【図２】
0005152559.tif 000032
【図３】
0005152559.tif 000033
【図４】
0005152559.tif 000034
【図５】
0005152559.tif 000035
【図６】
0005152559.tif 000036
【図７】
0005152559.tif 000037
【図８】
0005152559.tif 000038
【図９】
0005152559.tif 000039
【図１０】
0005152559.tif 000040
【図１１】
0005152559.tif 000041
【図１２】
0005152559.tif 000042
【図１３】
0005152559.tif 000043
【図１４】
0005152559.tif 000044
【図１５】
0005152559.tif 000045
【図１６】
0005152559.tif 000046
【図１７】
0005152559.tif 000047
【図１８】
0005152559.tif 000048
【図１９】
0005152559.tif 000049
【図２０】
0005152559.tif 000050
【図２１】
0005152559.tif 000051
【図２２】
0005152559.tif 000052
【図２３】
0005152559.tif 000053
【図２４】
0005152559.tif 000054
【図２５】
0005152559.tif 000055
【図２６】
0005152559.tif 000056
【図２７】
0005152559.tif 000057
【図２８】
0005152559.tif 000058
【図２９】
0005152559.tif 000059
【図３０】
0005152559.tif 000060
【図３１】
0005152559.tif 000061
【図３２】
0005152559.tif 000062
【図３３】
0005152559.tif 000063
【図３４】
0005152559.tif 000064
【図３５】
0005152559.tif 000065
【図３６】
0005152559.tif 000066
【図３７】
0005152559.tif 000067
【図３８】
0005152559.tif 000068
【図３９】
0005152559.tif 000069
【図４０】
0005152559.tif 000070
【図４１】
0005152559.tif 000071
【図４２】
0005152559.tif 000072